[论文解读] End-to-End Dereverberation, Beamforming, and Speech Recognition with Improved Numerical Stability and Advanced Frontend

Wangyou Zhang, Christoph Boeddeker+8 more|arXiv (Cornell University)|Feb 23, 2021

Speech and Audio Processing参考文献 47被引用 33

一句话总结

该论文提出了一种端到端框架，用于在多通道、多说话人、混响环境中联合进行去混响、波束成形和语音识别。通过引入四种数值稳定技术——对角加载、掩码下限处理、稳定的复数运算和双精度计算——并结合类似VAD的掩码以缓解频率混淆问题，该系统仅使用语音识别监督信号，相比传统端到端ASR实现了35%的相对WER降低，并展现出强劲的语音增强性能（SDR = 12.5 dB）。

ABSTRACT

Recently, the end-to-end approach has been successfully applied to multi-speaker speech separation and recognition in both single-channel and multichannel conditions. However, severe performance degradation is still observed in the reverberant and noisy scenarios, and there is still a large performance gap between anechoic and reverberant conditions. In this work, we focus on the multichannel multi-speaker reverberant condition, and propose to extend our previous framework for end-to-end dereverberation, beamforming, and speech recognition with improved numerical stability and advanced frontend subnetworks including voice activity detection like masks. The techniques significantly stabilize the end-to-end training process. The experiments on the spatialized wsj1-2mix corpus show that the proposed system achieves about 35% WER relative reduction compared to our conventional multi-channel E2E ASR system, and also obtains decent speech dereverberation and separation performance (SDR=12.5 dB) in the reverberant multi-speaker condition while trained only with the ASR criterion.

研究动机与目标

• 解决端到端ASR在混响和噪声多说话人环境中性能严重下降的问题。
• 通过解决WPE和波束成形运算中的数值不稳定性，稳定联合端到端去混响、波束成形和ASR的训练过程。
• 仅使用转录文本作为监督信号，在具有挑战性的鸡尾酒会场景中提升语音增强和识别性能。
• 通过为WPE和波束成形使用类似VAD的掩码，缓解端到端训练中的频率混淆问题。
• 证明单一端到端系统可在无需单独前端训练的情况下，实现强大的去混响、分离和识别性能。

提出的方法

• 引入四种数值稳定技术：对角加载、掩码下限处理、稳定的复数运算和双精度计算，以稳定WPE和波束成形中的矩阵求逆。
• 使用共享的掩码估计器（MaskNet）生成WPE和波束成形掩码，实现联合优化。
• 采用分解式前端结构，使用DNN-WPE进行去混响，使用MVDR/wMPDR波束成形器进行空间滤波。
• 应用类似VAD的掩码以抑制非语音成分，并在端到端训练中减少频率混淆。
• 使用联合CTC/注意力机制的ASR后端，仅通过转录文本端到端训练前端。
• 通过PIT-based损失函数优化整个系统，对齐预测和目标语音表征。

实验结果

研究问题

• RQ1 在去混响和ASR的端到端训练中，WPE和波束成形运算中的数值不稳定性是否能被有效缓解？
• RQ2 使用类似VAD的掩码是否能减少频率混淆并提升语音增强和识别性能？
• RQ3 仅使用ASR监督信号，能否使单一端到端系统联合优化去混响、波束成形和ASR？
• RQ4 在混响条件下，不同波束成形器变体（MVDR与wMPDR）在端到端训练中的表现如何比较？
• RQ5 所提出的稳定技术对多说话人混响场景中WER、SDR、PESQ和STOI指标的影响如何？

主要发现

• 所提系统在spatialized wsj1-2mix语料库上相比传统多通道端到端ASR系统实现了35%的相对WER降低。
• 系统实现了12.5 dB的语音增强SDR和1.97的PESQ，表明去混响和分离性能强劲。
• 四种稳定技术（对角加载、掩码下限处理、稳定复数运算、双精度计算）的组合实现了最佳收敛性和性能。
• 类似VAD的掩码显著提升了PESQ（1.95）、STOI（0.86）和SDR（12.54 dB），有效减少了频率混淆影响。
• 采用类似VAD掩码的wMPDR波束成形器实现了最低的WER（9.44%）和8.49 dB的SDR，优于基于MVDR的模型。
• 所提框架结合类似VAD的掩码与稳定技术，在与干净WSJ eval92基线（4.4% WER）相比时，实现了接近顶尖水平的性能（9.45% WER），展现出强大的泛化能力。