[论文解读] NICE-Beam: Neural Integrated Covariance Estimators for Time-Varying Beamformers

Jonah Casebeer, Jacob Donley+3 more|arXiv (Cornell University)|Dec 8, 2021

Speech and Audio Processing被引用 7

一句话总结

NICE-Beam 提出一种基于循环神经网络的神经协方差估计器，用于在移动麦克风阵列中跟踪时变空间统计特性，与波束成形流水线集成，实现语音增强与混响抑制的联合处理。该方法支持实时、端到端训练，其性能优于人工调优的估计器，即使在具备理想源分离信息的情况下也表现更优，且对姿态变化具有鲁棒性。

ABSTRACT

Estimating a time-varying spatial covariance matrix for a beamforming algorithm is a challenging task, especially for wearable devices, as the algorithm must compensate for time-varying signal statistics due to rapid pose-changes. In this paper, we propose Neural Integrated Covariance Estimators for Beamformers, NICE-Beam. NICE-Beam is a general technique for learning how to estimate time-varying spatial covariance matrices, which we apply to joint speech enhancement and dereverberation. It is based on training a neural network module to non-linearly track and leverage scene information across time. We integrate our solution into a beamforming pipeline, which enables simple training, faster than real-time inference, and a variety of test-time adaptation options. We evaluate the proposed model against a suite of baselines in scenes with both stationary and moving microphones. Our results show that the proposed method can outperform a hand-tuned estimator, despite the hand-tuned estimator using oracle source separation knowledge.

研究动机与目标

• 为解决在快速姿态变化下估计时变空间协方差矩阵的挑战。
• 开发一种可学习的非线性协方差估计器，整合时间与空间信息，以提升波束成形性能。
• 实现波束成形流水线的端到端训练，同时避免协方差矩阵求逆带来的数值不稳定性。
• 确保可实时、测试时自适应推理，计算成本低，适用于可穿戴设备。
• 在动态、空间变化环境中，证明其性能优于传统人工调校的协方差估计器。

提出的方法

• 训练一个循环神经网络（RNN）直接估计空间协方差矩阵的逆矩阵，避免矩阵求逆带来的数值不稳定性。
• 该估计器处理多通道 STFT 特征，并结合时间维度上的姿态与场景信息，以建模动态空间统计特性。
• 该方法嵌入混合 DNN-DSP 波束成形流水线中，使用单通道增强器与波束成形器，二者分别基于语音与噪声的协方差估计。
• 网络通过可微分损失函数进行端到端训练，优化目标为语音质量与混响抑制效果。
• 系统支持测试时自适应，可通过调整掩码、延迟与分辨率实现，无需重新训练。
• 该方法利用时变空间协方差模型，能快速适应姿态变化，优于传统线性平均方法。

实验结果

研究问题

• RQ1 在时变、姿态变化的环境中，学习型协方差估计器是否能优于人工调校的非学习型估计器？
• RQ2 基于 RNN 的神经协方差估计器在时间维度上跟踪动态空间统计特性的有效性如何？
• RQ3 通过在逆协方差矩阵上操作而非协方差矩阵，能否稳定端到端波束成形流水线的训练？
• RQ4 该学习型估计器在不同运动轨迹与阵列配置下的泛化能力如何？
• RQ5 由于其模块化、测试时可自适应的设计，系统在硬件故障或部分信号丢失情况下是否仍能保持性能？

主要发现

• NICE-Beam 在静态与移动麦克风场景下，均优于人工调校的估计器，即使后者具备理想源分离信息。
• 该模型实现超实时推理，计算需求低，适用于实时可穿戴应用。
• 系统因模块化、测试时可自适应的架构设计，对硬件故障表现出鲁棒性。
• 当向神经估计器提供额外的场景或姿态信息时，性能进一步提升，表明其能有效利用上下文数据。
• 端到端训练方案成功避免了传统波束成形流水线中常见的数值不稳定性问题。
• 该方法在多样化运动轨迹上泛化良好，并保持高感知与客观语音质量指标。