[论文解读] Autocorrect in the Process of Translation -- Multi-task Learning Improves Dialogue Machine Translation

Tao Wang, Chengqi Zhao+3 more|arXiv (Cornell University)|Mar 30, 2021

Natural Language Processing Techniques参考文献 27被引用 5

一句话总结

本文提出了一种多任务学习框架 MTLdial，该框架在对话翻译过程中联合检测并纠正代词省略、标点符号省略以及对话特有的拼写错误。通过利用上下文标签和联合训练，该模型在新构建的包含1,931条标注语句的中英双语基准数据集上，将翻译质量提升了3.2 BLEU，同时将代词恢复准确率从26.09%提高到47.16%。

ABSTRACT

Automatic translation of dialogue texts is a much needed demand in many real life scenarios. However, the currently existing neural machine translation delivers unsatisfying results. In this paper, we conduct a deep analysis of a dialogue corpus and summarize three major issues on dialogue translation, including pronoun dropping (\droppro), punctuation dropping (\droppun), and typos ( ypo). In response to these challenges, we propose a joint learning method to identify omission and typo, and utilize context to translate dialogue utterances. To properly evaluate the performance, we propose a manually annotated dataset with 1,931 Chinese-English parallel utterances from 300 dialogues as a benchmark testbed for dialogue translation. Our experiments show that the proposed method improves translation quality by 3.2 BLEU over the baselines. It also elevates the recovery rate of omitted pronouns from 26.09% to 47.16%. We will publish the code and dataset publicly at https://github.com/rgwt123/DialogueMT.

研究动机与目标

• 识别并解决对话翻译中的三大主要挑战：代词省略（ProDrop）、标点符号省略（PunDrop）和对话特异性拼写错误（DialTypo）。
• 开发一种上下文感知的多任务学习模型，以在翻译过程中纠正输入噪声，提升模型的鲁棒性和准确性。
• 构建一个高质量、人工标注的包含300段对话（共1,931条语句）的中英测试集，作为对话翻译评估的基准。
• 通过自动指标（BLEU）和恢复性能的详细错误分析，评估所提方法的有效性。

提出的方法

• 提出 MTLdial，一种多任务学习模型，通过共享的上下文表示，联合执行翻译、代词恢复、标点符号恢复和拼写错误纠正。
• 引入上下文标签，通过显式的监督信号指导模型在翻译过程中对输入进行去噪。
• 利用双语平行语料中的子文档，实现跨句上下文学习，提升上下文感知能力。
• 设计三种强基线模型：REPAIRdial（修复方法）、ROBUSTdial（鲁棒训练）和标准NMT基线（BASE）。
• 通过合成噪声（如代词和标点符号的省略、拼写错误）进行数据增强，以提升模型泛化能力。
• 采用共享编码器-解码器架构，并为翻译、ProDrop、PunDrop和DialTypo检测任务分别设计特定任务头。

实验结果

研究问题

• RQ1 代词省略、标点符号省略和对话特异性拼写错误在对话设置下如何影响神经机器翻译的质量？
• RQ2 结合上下文标签的联合多任务学习能否同时提升翻译质量与噪声对话输入中的错误恢复能力？
• RQ3 在合成噪声上进行训练的模型在真实对话翻译中面对自然输入错误时，其泛化能力能达到何种程度？
• RQ4 所提出的 MTLdial 框架在 BLEU 分数和错误恢复率方面与强基线模型相比表现如何？
• RQ5 代词恢复中的失败模式和常见错误模式是什么？它们与上下文建模有何关联？

主要发现

• 所提出的 MTLdial 模型在新基准测试集上相比强基线模型，翻译质量提升了3.2 BLEU分。
• 模型将省略代词的恢复率从26.09%提高到47.16%，显著改善了对 ProDrop 的处理能力。
• 在测试集中，模型在 ProDrop 上取得 48.6% 的 F1 值，PunDrop 为 92.1%，DialTypo 为 45.2%；后者下降幅度最大，主要由于真实世界拼写错误的召回率较低。
• 代词恢复对高频代词（如 'I' 和 'you'）最为有效，但性能仍低于50%，表明上下文建模仍具挑战。
• 错误分析显示，上下文捕捉错误（尤其是来自前一句的上下文）是恢复失败的主要原因。
• 在自动指标和错误恢复方面，该模型均优于 REPAIRdial 和 ROBUSTdial 基线模型，验证了联合多任务学习的有效性。