[论文解读] Improving the Robustness of Speech Translation

Xiang Li, Haiyang Xue+4 more|arXiv (Cornell University)|Nov 2, 2018

Natural Language Processing Techniques参考文献 28被引用 14

一句话总结

本文提出了一种简单而有效的方法，通过在干净训练数据中注入ASR特定噪声，并引入中文拼音作为辅助特征，以提升神经机器翻译（NMT）在语音翻译中的鲁棒性。该方法显著提升了在噪声输入上的性能——在噪声测试集上平均提升3.12 BLEU，同时也在干净测试集上增强了泛化能力。

ABSTRACT

Although neural machine translation (NMT) has achieved impressive progress recently, it is usually trained on the clean parallel data set and hence cannot work well when the input sentence is the production of the automatic speech recognition (ASR) system due to the enormous errors in the source. To solve this problem, we propose a simple but effective method to improve the robustness of NMT in the case of speech translation. We simulate the noise existing in the realistic output of the ASR system and inject them into the clean parallel data so that NMT can work under similar word distributions during training and testing. Besides, we also incorporate the Chinese Pinyin feature which is easy to get in speech translation to further improve the translation performance. Experiment results show that our method has a more stable performance and outperforms the baseline by an average of 3.12 BLEU on multiple noisy test sets, even while achieves a generalization improvement on the WMT'17 Chinese-English test set.

研究动机与目标

• 解决神经机器翻译（NMT）在翻译ASR生成转录文本时存在的鲁棒性差距问题，这些转录文本通常包含语音错误。
• 通过在训练过程中模拟ASR特定噪声，克服在真实ASR输出上训练NMT时的数据稀缺问题。
• 通过引入如中文拼音等语言学特征，提升NMT在不同ASR错误水平下的泛化能力和稳定性。
• 开发一种计算效率高的方法，无需架构修改或对抗性训练，确保实际部署的可行性。

提出的方法

• 在每次训练迭代中，通过随机用语音上相似或同音的字符替换源词元，将ASR特定噪声注入干净的平行训练数据。
• 基于语音相似性定义四种噪声词元选择策略，包括同音词和常见的ASR错误模式。
• 引入拼音感知的嵌入层，将字符级表征与音节级拼音特征结合，以提升在噪声下的语义一致性。
• 使用标准目标函数端到端训练NMT模型，不修改损失函数，也无需预训练。
• 利用大规模书面平行语料而非稀缺的语音-转录对，实现可扩展的数据增强。
• 通过在多样化噪声分布上进行训练，模拟真实世界ASR错误模式，确保在不同噪声水平下的鲁棒性。

实验结果

研究问题

• RQ1 在NMT训练过程中注入ASR特定噪声，是否能在不损害干净数据性能的前提下提升对ASR输出噪声的鲁棒性？
• RQ2 将中文拼音作为辅助输入特征引入，对NMT在ASR错误下的鲁棒性和翻译质量有何影响？
• RQ3 所提出的方法是否能在不同噪声严重程度的测试集中实现泛化？
• RQ4 该方法是否能在多个误差率各异的测试集上实现稳定性能提升？
• RQ5 与现有噪声注入或对抗性训练方法相比，该方法在效率和有效性方面表现如何？

主要发现

• 与基线相比，所提方法在多个噪声测试集上平均提升3.12 BLEU，显著改善了NMT性能。
• 鲁棒的NMT系统在高度噪声的测试集上达到2.72 BLEU的得分，接近干净测试集2.9 BLEU的性能，展现出强大的稳定性。
• 该方法增强了泛化能力，在干净的WMT’17中文-英文测试集上实现性能提升，表明模型整体能力得到增强。
• 系统在不同噪声水平下保持稳定性能，在高错误率测试集上达到2.72 BLEU，而基线仅为2.01 BLEU。
• 拼音特征的引入显著提升了模型在同音错误下的恢复能力，真实案例研究已证实这一点。
• 该方法优于以往会损害干净数据性能的噪声注入方法，同时避免了对抗性训练或预训练等复杂训练流程。