[论文解读] Incremental Adaptation of NMT for Professional Post-editors: A User Study

Miguel Domingo, Mercedes García-Martínez+6 more|arXiv (Cornell University)|Jun 21, 2019

Natural Language Processing Techniques参考文献 40被引用 11

一句话总结

本研究评估了一种用于神经机器翻译（NMT）的增量式在线学习方法，该方法可实时适应专业校对人员的修改。该系统显著减少了校对工作量，并提升了翻译质量（hTER 和 hBLEU），校对人员普遍认为该自适应系统比静态模型更有效、更少枯燥。

ABSTRACT

A common use of machine translation in the industry is providing initial translation hypotheses, which are later supervised and post-edited by a human expert. During this revision process, new bilingual data are continuously generated. Machine translation systems can benefit from these new data, incrementally updating the underlying models under an online learning paradigm. We conducted a user study on this scenario, for a neural machine translation system. The experimentation was carried out by professional translators, with a vast experience in machine translation post-editing. The results showed a reduction in the required amount of human effort needed when post-editing the outputs of the system, improvements in the translation quality and a positive perception of the adaptive system by the users.

研究动机与目标

• 评估使用专业翻译人员实际校对数据进行在线增量适应的NMT系统的影响。
• 评估从人工校对中持续学习是否能提升工业环境中翻译质量和校对工作效率。
• 调查在真实翻译工作流程中，与静态模型相比，自适应NMT系统的用户感知与可用性。
• 识别自适应NMT中的实际挑战，例如特定领域术语的退化和子词相关的词语生成错误。
• 探索与翻译记忆库和术语工具集成的路径，以提升校对工作效率。

提出的方法

• 每次校对句子后，通过在线学习对NMT系统进行增量更新，实时整合新的平行语料（源语句和校对后目标语句）。
• 该模型采用编码器-解码器架构并结合注意力机制，基于大规模平行语料通过随机梯度下降进行训练。
• 适应在每次校对会话后立即应用，确保修改结果影响后续的翻译输出。
• 系统利用字节对编码（BPE）进行子词分词，这导致了如“absolvido”等虚构词语的生成问题。
• 在真实生产环境中，组织了一场由三名经验丰富的专业校对人员参与的用户研究，对比静态与自适应NMT系统。
• 翻译质量通过hTER和hBLEU指标进行评估，用户感知通过实验后调查问卷收集。

实验结果

研究问题

• RQ1 与静态系统相比，在专业工作流程中，通过在线学习实现的NMT增量适应是否能减少校对工作量？
• RQ2 在真实工业校对环境中，线上适应在hTER和hBLEU指标上能多大程度上提升翻译质量？
• RQ3 专业校对人员如何评价自适应系统在可用性、流畅性和一致性方面与静态模型的差异？
• RQ4 用户在使用自适应NMT时遇到的主要挑战是什么，例如对特定领域术语处理不当或子词切分错误？
• RQ5 用户能否基于翻译行为可靠地区分静态系统与自适应系统？

主要发现

• 自适应NMT系统减少了校对时间和工作量，三位专业校对人员均报告其工作流程更高效、更少枯燥。
• 翻译质量显著提升：与静态基线相比，使用自适应系统后hTER下降，hBLEU上升。
• 所有校对人员在实验后调查中均正确识别出自适应系统，表明其感知到翻译一致性与流畅性的实质性差异。
• 校对人员一致观察到，特别是产品名称、语法和词汇选择方面的修改，均被反映在后续翻译中，减少了重复修改。
• 用户报告称，静态系统生成的翻译流畅性较差，有时甚至无用，而自适应系统则被认为更可靠、更实用。
• 报告的主要技术问题包括对特定领域术语处理不当，以及生成不存在的词语（如“absolvido”），这可能是BPE子词切分错误所致。