[论文解读] Low-Latency Neural Speech Translation

Jan Niehues, Ngoc-Quan Pham+3 more|arXiv (Cornell University)|Aug 1, 2018

Natural Language Processing Techniques被引用 5

一句话总结

本文提出一种基于合成部分句子数据的多任务学习方法，用于将神经机器翻译（NMT）模型适配至低延迟语音翻译场景，实现实时翻译不完整语句的高精度处理，同时不牺牲完整句子的性能。该方法在增量输出过程中将修正频率降低了45%，显著提升了实时系统中的用户体验。

ABSTRACT

Through the development of neural machine translation, the quality of machine translation systems has been improved significantly. By exploiting advancements in deep learning, systems are now able to better approximate the complex mapping from source sentences to target sentences. But with this ability, new challenges also arise. An example is the translation of partial sentences in low-latency speech translation. Since the model has only seen complete sentences in training, it will always try to generate a complete sentence, though the input may only be a partial sentence. We show that NMT systems can be adapted to scenarios where no task-specific training data is available. Furthermore, this is possible without losing performance on the original training data. We achieve this by creating artificial data and by using multi-task learning. After adaptation, we are able to reduce the number of corrections displayed during incremental output construction by 45%, without a decrease in translation quality.

研究动机与目标

• 为解决神经机器翻译模型在接收到部分语音输入时生成完整句子的问题，该问题在实时处理过程中会导致错误或冗余翻译。
• 在推理阶段适配预训练的NMT模型以处理部分句子，无需在特定任务数据上微调，且不降低完整句子的性能。
• 通过最小化增量输出构建过程中的翻译修正次数，改善语音翻译中的实时用户体验。
• 探究使用合成部分句子的多任务学习是否能有效对齐模型行为与低延迟语音翻译需求。

提出的方法

• 人工生成包含源语言和目标语言部分形式的平行单语语料库，以模拟实时语音输入。
• 采用多任务学习训练NMT模型，使模型在相同架构下联合学习完整句子与部分句子的翻译。
• 使用共享编码器-解码器Transformer架构及共享注意力机制，使解码器优化为对完整与部分输入生成合适输出。
• 应用强化学习（RL），采用惩罚过度生成和长输出的奖励函数，进一步提升对部分输入的鲁棒性。
• 将多任务学习与RL微调相结合，联合优化翻译质量与低延迟下修正次数的最小化。
• 在完整句子、部分句子及自动语音识别（ASR）输出上评估适配后的模型，以确保在各类输入类型下的鲁棒性。

实验结果

研究问题

• RQ1 NMT模型能否在不使用领域特定数据微调的情况下，有效适应实时语音翻译中对部分句子的翻译？
• RQ2 使用合成部分句子数据的多任务学习是否能提升模型对不完整输入的鲁棒性，同时保持完整句子的性能？
• RQ3 强化学习在多大程度上可进一步减少增量翻译中的过度生成与修正频率？
• RQ4 与基线微调方法相比，合成数据与多任务学习的结合在修正减少与翻译质量方面表现如何？

主要发现

• 与基线相比，多任务学习方法在增量翻译中将需重写的词元数量减少了45%，显著改善用户体验。
• 模型在完整句子上的BLEU分数保持不变或略有提升，表明在原始训练数据上无性能退化。
• 强化学习进一步提升了部分句子的性能，尤其在减少过度生成与重复用词方面效果显著。
• 将多任务学习与RL结合，可实现高达50%的修正频率减少，优于单独使用任一方法。
• 多任务模型在短句与不完整输入上的泛化能力更强，对标点不一致的处理也更鲁棒，而基线模型在无标点部分句子上常出现失败。
• 在德语到英语的翻译中，该方法使部分输入的修正次数减少了25%，尽管效果小于英语到西班牙语，可能由于德语的句法重排程度更高。