[论文解读] Building state-of-the-art distant speech recognition using the CHiME-4 challenge with a setup of speech enhancement baseline

Szu-Jui Chen, Aswin Shanmugam Subramanian+2 more|arXiv (Cornell University)|Mar 27, 2018

Speech and Audio Processing参考文献 19被引用 5

一句话总结

本论文提出了一套单一、可复现的最先进远距离语音识别系统，用于CHiME-4挑战赛，采用基于双向LSTM的广义特征值波束成形（Gev）、使用无图 lattice-free MMI 的TDNN声学建模，以及LSTM语言模型重打分。该系统在真实测试集上实现了2.74%的WER，排名挑战赛第2名，通过结合增强输出的多通道数据增强技术实现，所有方法均在Kaldi工具包中实现，确保公开可复现性。

ABSTRACT

This paper describes a new baseline system for automatic speech recognition (ASR) in the CHiME-4 challenge to promote the development of noisy ASR in speech processing communities by providing 1) state-of-the-art system with a simplified single system comparable to the complicated top systems in the challenge, 2) publicly available and reproducible recipe through the main repository in the Kaldi speech recognition toolkit. The proposed system adopts generalized eigenvalue beamforming with bidirectional long short-term memory (LSTM) mask estimation. We also propose to use a time delay neural network (TDNN) based on the lattice-free version of the maximum mutual information (LF-MMI) trained with augmented all six microphones plus the enhanced data after beamforming. Finally, we use a LSTM language model for lattice and n-best re-scoring. The final system achieved 2.74\% WER for the real test set in the 6-channel track, which corresponds to the 2nd place in the challenge. In addition, the proposed baseline recipe includes four different speech enhancement measures, short-time objective intelligibility measure (STOI), extended STOI (eSTOI), perceptual evaluation of speech quality (PESQ) and speech distortion ratio (SDR) for the simulation test set. Thus, the recipe also provides an experimental platform for speech enhancement studies with these performance measures.

研究动机与目标

• 开发一种简化的单系统基线，用于远距离语音识别，其性能可与CHiME-4挑战赛中使用的复杂多系统融合方法相媲美或超越。
• 在Kaldi ASR工具包中提供一个公开可用、可复现的配方，以加速嘈杂、多通道ASR和语音增强领域的研究。
• 将客观语音增强指标（STOI、eSTOI、PESQ、SDR）集成到训练和评估流程中，实现实时增强质量评估。
• 证明将波束成形后增强的信号用于数据增强，可显著提升ASR性能，尤其在结合先进声学模型时效果更明显。
• 展示将语音增强与识别组件（包括高级语言模型）端到端集成，可在不使用系统融合的情况下实现最先进性能。

提出的方法

• 采用双向LSTM（BLSTM）进行广义特征值波束成形（Gev）中的掩码估计，相比传统延迟求和波束成形，可更有效地抑制噪声。
• 使用时间延迟神经网络（TDNN）结合无图最大互信息（LF-MMI）进行鲁棒声学建模，能够更好地捕捉长期依赖关系。
• 通过包含全部六个麦克风的信号以及波束成形后的增强输出，实施多通道数据增强，以提升训练数据的多样性。
• 采用两阶段解码策略：第一阶段使用TDNN生成解码图，第二阶段通过5-gram语言模型和更强大的LSTM语言模型（LSTMLM）结合重要性采样进行重打分。
• 将四种客观语音增强指标——STOI、eSTOI、PESQ、SDR——集成到配方中，实现在无需完整ASR解码的情况下快速评估增强质量。
• 将整个系统部署在Kaldi ASR工具包中，通过公开的GitHub仓库确保可复现性和可访问性。

实验结果

研究问题

• RQ1 单一、统一的ASR系统能否在CHiME-4挑战赛中实现与顶尖多系统融合方法相当的性能？
• RQ2 在嘈杂、多通道环境中，将增强后的语音信号（波束成形后）纳入训练数据，在多大程度上能提升ASR的鲁棒性？
• RQ3 在真实嘈杂环境下，基于BLSTM的掩码估计在广义特征值波束成形中的表现，与传统波束成形器相比如何？
• RQ4 将无图LF-MMI训练的TDNN声学模型与LSTMLM重打分结合，与标准DNN+sMBR系统相比，能否显著降低词错误率？
• RQ5 客观增强指标（STOI、PESQ、SDR）与实际ASR性能的相关性如何？它们能否作为评估增强算法的可靠代理指标？

主要发现

• 所提出的单系统方法在6通道赛道的真实测试集上实现了2.74%的WER，排名CHiME-4挑战赛第2名，相比官方基线实现了76%的相对提升。
• 使用全部六个麦克风信号及波束成形增强信号进行数据增强，带来了稳定的WER降低，最佳配置在真实测试数据上达到2.74% WER。
• TDNN结合LF-MMI与LSTMLM重打分，将WER从3.79%（使用RNNLM）降低至2.85%，证明了高级语言建模的有效性。
• BLSTM掩码波束成形相比传统BeamformIt波束成形表现更优，当与LF-MMI和LSTMLM结合时，WER从3.79%降低至2.85%。
• 尽管增强指标得分较高（如STOI、PESQ），部分系统仍表现出ASR性能下降，表明客观指标并不总能预测ASR增益——尤其当SDR得分较高时更为明显。
• 该系统表明，增强数据的整合可缓解次优增强带来的性能下降，尤其在单麦克风设置中，仅使用BLSTM掩码会损害性能，但通过增强数据增强后性能得以改善。