[论文解读] Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions

Wangyou Zhang, Jing Shi+3 more|arXiv (Cornell University)|Oct 27, 2021

Speech and Audio Processing被引用 5

一句话总结

本文通过将多通道 Conv-TasNet 整合到波束成形框架中（即 Beam-TasNet），并联合训练自动语音识别（ASR）模型，解决了时域多通道语音增强在仿真与真实世界条件之间的性能差距。所提方法在真实 CHiME-4 数据上将词错误率（WER）降低了超过 42%，同时保持了强大的语音增强性能。

ABSTRACT

The deep learning based time-domain models, e.g. Conv-TasNet, have shown great potential in both single-channel and multi-channel speech enhancement. However, many experiments on the time-domain speech enhancement model are done in simulated conditions, and it is not well studied whether the good performance can generalize to real-world scenarios. In this paper, we aim to provide an insightful investigation of applying multi-channel Conv-TasNet based speech enhancement to both simulation and real data. Our preliminary experiments show a large performance gap between the two conditions in terms of the ASR performance. Several approaches are applied to close this gap, including the integration of multi-channel Conv-TasNet into the beamforming model with various strategies, and the joint training of speech enhancement and speech recognition models. Our experiments on the CHiME-4 corpus show that our proposed approaches can greatly reduce the speech recognition performance discrepancy between simulation and real data, while preserving the strong speech enhancement capability in the frontend.

研究动机与目标

• 研究使用时域模型时，仿真与真实世界多通道语音增强之间的性能差距。
• 提升多通道 Conv-TasNet（MC-Conv-TasNet）在无参考信号的真实场景下的鲁棒性。
• 减少仿真数据与真实数据在自动语音识别（ASR）性能上的差异。
• 探索 MC-Conv-TasNet 与波束成形结合的集成策略以提升泛化能力。
• 评估与 ASR 模型联合训练对提升真实世界泛化能力的益处。

提出的方法

• 通过从 MC-Conv-TasNet 输出估计协方差矩阵，并对原始多通道输入应用波束成形，将 MC-Conv-TasNet 与 MVDR 波束成形相结合。
• 探索两种集成策略：基于信号的（sig-MVDR）和基于掩码的（mask-MVDR）MVDR 波束成形，其中 VAD 类似的一维掩码优于 PSM。
• 采用通道旋转增强方法，以通道感知方式训练 MC-Conv-TasNet*，实现多通道增强输出。
• 使用仿真和真实数据对预训练的 MC-Conv-TasNet 和端到端 ASR 模型进行联合微调。
• 使用 CHiME-4 语料库进行评估，以 WER 为主要指标，对比模型在仿真和真实测试集上的性能。
• 采用频谱图可视化方法，定性比较各模型的增强质量。

实验结果

研究问题

• RQ1 在仿真数据上训练的 MC-Conv-TasNet 和 Beam-TasNet 是否能有效泛化到真实世界中噪声和混响的环境？
• RQ2 将 MC-Conv-TasNet 与 MVDR 波束成形结合后，对真实数据上的 ASR 性能有何影响？
• RQ3 在基于掩码的波束成形集成中，使用 VAD 类似的一维掩码与 PSM 相比有何影响？
• RQ4 MC-Conv-TasNet 与 ASR 模型的联合训练是否能减少仿真到真实场景的性能差距？
• RQ5 不同集成策略如何影响语音增强质量与 ASR 鲁棒性之间的权衡？

主要发现

• 所提出的基于掩码的 MVDR 波束成形集成的 Beam-TasNet 在真实 CHiME-4 测试数据上，相比基线 ASR 模型，将 WER 降低了超过 42%。
• mask-MVDR 变体在真实数据上的表现优于 sig-MVDR 变体，表明掩码有助于抑制 TasNet 输出引入的伪影。
• 由于平均化作用降低了不准确估计的影响，VAD 类似的一维掩码在 ASR 性能上优于 PSM。
• MC-Conv-TasNet 与 ASR 模型的联合训练显著提升了真实数据上的 ASR 性能，当微调阶段同时使用真实数据和干净数据时，性能最佳。
• 尽管在仿真数据上的 ASR 性能略有下降，但联合训练的模型在真实世界条件下的泛化能力远超仅在仿真数据上训练的模型。
• 频谱图可视化结果表明，Beam-TasNet 和联合训练模型在恢复语音特征和抑制噪声方面优于仅使用 MC-Conv-TasNet 的模型，后者会引入频谱失真。