[论文解读] Lattice-Based Unsupervised Test-Time Adaptation of Neural Network Acoustic Models

Ondřej Klejch, Joachim Fainberg+2 more|arXiv (Cornell University)|Jun 27, 2019

Speech Recognition and Synthesis参考文献 39被引用 6

一句话总结

本文提出了一种基于网格的无监督测试时自适应方法，用于神经网络声学模型，采用无网格最大互信息（LF-MMI）训练。通过利用包含多个假设和置信度分数的网格，而非单一最佳转录结果，该方法减少了对转录错误的过拟合，即使初始词错误率（WER）超过50%，也能实现有效的全模型自适应，在多种自动语音识别（ASR）任务中均实现了对最佳路径监督的一致性改进。

ABSTRACT

Acoustic model adaptation to unseen test recordings aims to reduce the mismatch between training and testing conditions. Most adaptation schemes for neural network models require the use of an initial one-best transcription for the test data, generated by an unadapted model, in order to estimate the adaptation transform. It has been found that adaptation methods using discriminative objective functions - such as cross-entropy loss - often require careful regularisation to avoid over-fitting to errors in the one-best transcriptions. In this paper we solve this problem by performing discriminative adaptation using lattices obtained from a first pass decoding, an approach that can be readily integrated into the lattice-free maximum mutual information (LF-MMI) framework. We investigate this approach on three transcription tasks of varying difficulty: TED talks, multi-genre broadcast (MGB) and a low-resource language (Somali). We find that our proposed approach enables many more parameters to be adapted without over-fitting being observed, and is successful even when the initial transcription has a WER in excess of 50%.

研究动机与目标

• 解决在使用易出错的首次转录结果时，无监督测试时自适应神经网络声学模型所面临的过拟合挑战。
• 克服最佳路径监督的局限性，后者缺乏置信度和混淆信息，导致在初始WER较高时适应性能差。
• 探究基于网格的监督是否能够在无需预先参数剪枝或正则化的情况下，实现对所有模型参数的可靠自适应。
• 证明基于网格的监督在低资源和高失配ASR场景中的有效性，这些场景下标准方法会失效。
• 研究基于网格的自适应是否在初始模型性能较差时，优于传统方法（如LHUC）

提出的方法

• 使用首次解码生成的网格作为全监督信号，对判别性自适应进行训练，而非依赖单一最佳路径。
• 应用无网格最大互信息（LF-MMI）目标函数，利用网格中的所有假设训练声学模型，提升对转录错误的鲁棒性。
• 使用基于网格的监督对神经网络声学模型的所有参数进行自适应，避免了参数剪枝或低秩约束的需要。
• 利用网格中的信息（如词置信度和音素混淆）引导自适应过程，减少过拟合。
• 将基于网格的自适应集成到LF-MMI框架中，实现具有不确定性感知的端到端判别性训练。
• 采用置信度过滤作为基线比较，但表明基于网格的监督可减少对这种过滤的依赖。

实验结果

研究问题

• RQ1 当初始首次转录的WER较高（例如>50%）时，基于网格的监督是否能改善无监督测试时自适应？
• RQ2 与最佳路径相比，使用网格是否能提升全神经网络模型自适应过程中的泛化能力并减少过拟合？
• RQ3 在性能和鲁棒性方面，基于网格的自适应与参数受限方法（如LHUC）相比如何？
• RQ4 当初始模型适应不良时（如索马里语ASR等低资源场景），基于网格的自适应是否依然有效？
• RQ5 与最佳路径方法相比，基于网格的监督是否能减少对适应数据置信度过滤的依赖？

主要发现

• 即使初始WER超过50%，基于网格的自适应在绝对WER上仍比最佳路径监督提升0.7–0.8%。
• 在高WER场景下，基于网格的自适应优于使用置信度过滤的最佳路径自适应，尤其在高错误率情况下表现更优。
• 初始WER为57.3%的索马里语模型在基于网格的自适应下未出现性能下降，而最佳路径自适应反而导致性能恶化。
• 使用网格进行全模型自适应的性能优于基于LHUC的自适应方法，后者是参数高效自适应的强基线。
• 与最佳路径方法相比，基于网格的监督在置信度过滤方面效果更差，表明网格本身比单独的置信度分数提供了更鲁棒的监督。
• 该方法即使在低资源和高失配设置下，也能实现对所有模型参数的可靠自适应且无过拟合，证明了基于网格监督的优越性。