[论文解读] Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition with Source Localization

Aswin Shanmugam Subramanian, Chao Weng+5 more|arXiv (Cornell University)|Oct 30, 2020

Speech and Audio Processing参考文献 31被引用 4

一句话总结

本文提出方向性自动语音识别（D-ASR），一种新颖的端到端多说话人远场语音识别框架，仅使用语音识别（ASR）损失联合优化声源定位、语音分离和自动语音识别（ASR）。通过将说话人方位角建模为潜在变量并利用其生成时频掩码，D-ASR 在平均 DOA 误差低于 3° 的情况下实现最先进性能，并在分离质量与 ASR 准确率方面均优于 MIMO-Speech。

ABSTRACT

This paper proposes a new paradigm for handling far-field multi-speaker data in an end-to-end neural network manner, called directional automatic speech recognition (D-ASR), which explicitly models source speaker locations. In D-ASR, the azimuth angle of the sources with respect to the microphone array is defined as a latent variable. This angle controls the quality of separation, which in turn determines the ASR performance. All three functionalities of D-ASR: localization, separation, and recognition are connected as a single differentiable neural network and trained solely based on ASR error minimization objectives. The advantages of D-ASR over existing methods are threefold: (1) it provides explicit speaker locations, (2) it improves the explainability factor, and (3) it achieves better ASR performance as the process is more streamlined. In addition, D-ASR does not require explicit direction of arrival (DOA) supervision like existing data-driven localization models, which makes it more appropriate for realistic data. For the case of two source mixtures, D-ASR achieves an average DOA prediction error of less than three degrees. It also outperforms a strong far-field multi-speaker end-to-end system in both separation quality and ASR performance.

研究动机与目标

• 开发一种统一的端到端框架，联合优化声源定位、语音分离和自动语音识别（ASR），且无需显式 DOA 标注。
• 通过显式建模说话人方向为可学习的潜在变量，提升多说话人 ASR 系统的可解释性与可解释性。
• 通过仅利用 ASR 目标本身推导出的方向信息，提升远场多说话人场景下的 ASR 与分离性能。
• 仅从文本转录中实现鲁棒的 DOA 估计，避免在真实世界数据中依赖并行的真实 DOA 标注。

提出的方法

• D-ASR 将每个说话人的方位角建模为潜在变量，该变量控制波束成形向量和时频（T-F）掩码的生成以实现分离。
• 定位子网络使用卷积神经网络（CNN）从多通道短时傅里叶变换（STFT）输入中提取相位特征，随后通过循环层和时间平均生成角度后验概率。
• 利用角度后验概率通过低复杂度掩码（LCMP）或最小方差无失真响应（MVDR）波束成形器计算波束成形权重，这些方法可微分且支持端到端训练。
• 系统仅通过 ASR 损失进行训练，对 DOA 或分离任务无显式监督，从而实现三项任务的联合优化。
• 推理阶段，波束成形器替换为基于掩码的 MVDR-REF 波束成形器以提升性能，同时 DOA 预测结果保持可解释性。
• 应用均匀正则化损失以鼓励角度后验分布的均衡性，提升泛化能力与 DOA 估计精度。

实验结果

研究问题

• RQ1 仅使用 ASR 转录作为监督信号，能否在端到端设置下有效学习声源定位？
• RQ2 显式建模说话人方向如何提升多说话人 ASR 系统的性能与可解释性？
• RQ3 在缺乏真实 DOA 标注的情况下，不同波束成形策略（LCMP 与 MVDR）对 DOA 估计与分离质量有何影响？
• RQ4 仅预测 DOA 角度的简化前端能否在分离与 ASR 性能上优于直接估计时频掩码的方法？
• RQ5 与传统信号处理方法（如 MUSIC、TOPS）及最先进端到端模型 MIMO-Speech 相比，所提方法在 DOA 估计与 ASR 准确率方面表现如何？

主要发现

• 在使用 LCMP 波束成形与正则化时，D-ASR 在测试集上的平均 DOA 预测误差仅为 3.0°，显著优于 MUSIC（14.4°）与 TOPS（10.1°）。
• 系统将词错误率（WER）降低至 4.1%，优于 MIMO-Speech（5.1% WER），并接近理想基线 IBM（3.0% WER）。
• 信噪比增益（SDR）达到 15.2 dB，几乎与理想基线 IBM（15.7 dB）持平，且显著优于 MIMO-Speech（11.7 dB），表明分离质量更优。
• 在定位子网络中引入均匀正则化可提升 DOA 估计精度，最佳设置（γ=10）在测试集上实现 2.5° 的平均误差。
• 采用 LCMP 波束成形与正则化的 D-ASR 系统实现 3.0° 的平均 L1 误差，而 MVDR-REF 变体在 SDR（7.4 dB）与 PESQ（2.9）方面仍保持优异性能。
• 中间输出（DOA 与掩码）具有可解释性，支持对模型行为进行分析，并为说话人分离动态提供洞察。