[论文解读] Automatic Post-Editing for Machine Translation

Rajen Chatterjee|arXiv (Cornell University)|Oct 18, 2019

Natural Language Processing Techniques参考文献 124被引用 5

一句话总结

本论文提出了一套全面的自动后编辑（APE）框架，作为下游任务以提升机器翻译质量，结合短语模型与神经网络方法、在线学习机制，并集成质量估计（QE）技术。该方法在2017年WMT APE共享任务中取得最佳系统表现，并提出一种新颖的引导解码机制，在无需微调或重新训练的情况下，通过引入外部知识增强神经APE性能。

ABSTRACT

Automatic Post-Editing (APE) aims to correct systematic errors in a machine translated text. This is primarily useful when the machine translation (MT) system is not accessible for improvement, leaving APE as a viable option to improve translation quality as a downstream task - which is the focus of this thesis. This field has received less attention compared to MT due to several reasons, which include: the limited availability of data to perform a sound research, contrasting views reported by different researchers about the effectiveness of APE, and limited attention from the industry to use APE in current production pipelines. In this thesis, we perform a thorough investigation of APE as a downstream task in order to: i) understand its potential to improve translation quality; ii) advance the core technology - starting from classical methods to recent deep-learning based solutions; iii) cope with limited and sparse data; iv) better leverage multiple input sources; v) mitigate the task-specific problem of over-correction; vi) enhance neural decoding to leverage external knowledge; and vii) establish an online learning framework to handle data diversity in real-time. All the above contributions are discussed across several chapters, and most of them are evaluated in the APE shared task organized each year at the Conference on Machine Translation. Our efforts in improving the technology resulted in the best system at the 2017 APE shared task, and our work on online learning received a distinguished paper award at the Italian Conference on Computational Linguistics. Overall, outcomes and findings of our work have boost interest among researchers and attracted industries to examine this technology to solve real-word problems.

研究动机与目标

• 解决尽管APE具有纠正机器翻译错误的潜力，但在MT系统不可用时仍面临研究有限与工业应用不足的问题。
• 克服APE任务中，特别是通用领域翻译任务中，数据稀缺与稀疏性问题。
• 通过将外部知识与质量估计信号整合进神经解码过程，提升APE性能。
• 开发一种在线学习框架，实现实时适应多样数据分布的APE系统。
• 通过新颖的损失函数与约束感知解码，缓解任务特异性问题（如过度修正）。

提出的方法

• 提出一种混合短语基APE系统，利用因子化语言模型与上下文感知的联合表示进行翻译。
• 设计一种多源神经APE模型，通过同时利用源语言与目标语言特征，提升纠错效果。
• 引入一种引导解码机制，将外部知识（如术语约束）注入NMT解码器，而无需重新训练。
• 将自动质量估计（QE）信号作为激活器、引导信号或选择器，增强APE决策能力。
• 开发一种在线APE系统，支持动态知识库更新与负反馈回路，实现实时适应新数据。
• 应用任务特异性损失函数，减少过度修正，提升后编辑结果与目标参考句之间的对齐度。

实验结果

研究问题

• RQ1 当APE作为非可访问MT系统的下游任务应用时，能否有效提升翻译质量？
• RQ2 如何使APE系统在数据稀疏性背景下，特别是在通用领域设置中更具鲁棒性？
• RQ3 外部知识与质量估计信号在多大程度上能提升神经APE解码性能？
• RQ4 在线学习框架是否能增强APE在动态、真实世界数据环境中的性能表现？
• RQ5 通过架构设计与损失函数创新，能否有效减少APE中常见的过度修正问题？

主要发现

• 所提出的APE系统在2017年WMT APE共享任务中表现最佳，在EN-DE与DE-EN双语对上均超越所有其他参赛系统。
• 将词粒度质量估计（QE）与APE结合，带来的性能提升最大，显著优于WMT 2016年最佳APE系统，证明了QE作为引导信号的价值。
• 引导解码机制成功在无需微调或重新训练的前提下，实现了神经APE中的术语约束强制执行。
• 采用动态知识库更新与负反馈机制的在线APE系统，在持续演化的数据上表现出稳健性能，并因此获得意大利计算语言学会议杰出论文奖。
• 尽管在领域特定数据上表现优异，APE在通用数据上的性能仍因数据稀疏性而下降，凸显了长期存在的挑战。
• 使用Oracle QE系统带来了显著性能提升，表明最先进的QE模型有望进一步缩小与最优APE性能之间的差距。