[论文解读] Adversarial Training for Multilingual Acoustic Modeling

Kevin Hu, Haşim Sak+1 more|arXiv (Cornell University)|Jun 17, 2019

Speech Recognition and Synthesis参考文献 22被引用 6

一句话总结

本文提出对抗性训练，通过在共享LSTM层中学习语言无关的特征来增强多语言声学建模。通过引入一个领域对抗的语言识别头以反转梯度，模型减少了共享特征中的语言特异性信息，使多语言模型的平均WER降低4%，单语言模型降低10%，覆盖七种语言。

ABSTRACT

Multilingual training has been shown to improve acoustic modeling performance by sharing and transferring knowledge in modeling different languages. Knowledge sharing is usually achieved by using common lower-level layers for different languages in a deep neural network. Recently, the domain adversarial network was proposed to reduce domain mismatch of training data and learn domain-invariant features. It is thus worth exploring whether adversarial training can further promote knowledge sharing in multilingual models. In this work, we apply the domain adversarial network to encourage the shared layers of a multilingual model to learn language-invariant features. Bidirectional Long Short-Term Memory (LSTM) recurrent neural networks (RNN) are used as building blocks. We show that shared layers learned this way contain less language identification information and lead to better performance. In an automatic speech recognition task for seven languages, the resultant acoustic model improves the word error rate (WER) of the multilingual model by 4% relative on average, and the monolingual models by 10%.

研究动机与目标

• 通过减少共享特征表示中的语言特异性偏差来改善多语言声学建模。
• 探究领域对抗网络是否能增强端到端自动语音识别中跨语言的知识迁移。
• 评估对抗性训练在使用双向LSTM学习语言无关特征方面的有效性。
• 检查每种语言的微调对对抗性和非对抗性多语言模型的影响。
• 评估对未见语言的泛化能力以及在不同语言组中的性能表现。

提出的方法

• 多语言声学模型使用共享的双向LSTM层对所有语言进行特征提取。
• 每种语言都有一个独立的声学建模（AM）头，用于音素状态分类。
• 在共享层中添加一个语言识别（LID）头，用于对帧级语言标签进行分类。
• 在反向传播过程中反转来自LID头的梯度，以促使共享层学习语言无关的特征。
• 使用所有语言的数据联合训练模型，对抗性训练应用于共享层。
• LID头使用交叉熵损失进行训练，而特征提取器则通过最小化领域可区分性进行优化。

实验结果

研究问题

• RQ1 对抗性训练能否减少共享声学特征中的语言特异性信息，从而提升多语言自动语音识别性能？
• RQ2 对抗性训练对多语言和单语言自动语音识别设置中的词错误率（WER）有何影响？
• RQ3 每种语言的微调是否能提升性能，其与对抗性训练的交互作用如何？
• RQ4 语言无关表示对在单语言数据上进行微调的敏感性如何？
• RQ5 对抗性训练能否泛化到未见过的语言或同一语言组的语言？

主要发现

• 对抗性训练将平均帧级语言识别准确率从62.2%降低至48.8%，表明共享特征中的语言特异性信息减少。
• 与非对抗性多语言训练相比，多语言模型在平均WER上降低了4%。
• 在对抗性多语言模型上训练的单语言模型，其WER相比非对抗性基线模型降低了10%。
• 每种语言的微调使多语言模型的WER平均降低4.5%，但使对抗性模型的WER平均升高2.8%。
• 对对抗性模型进行微调导致大多数语言的性能下降，表明语言无关表示对单语言微调较为敏感。
• 对抗性模型的共享层保留了对声学建模有用的语音信息，同时最小化了语言特异性线索。