[论文解读] An Exploration of Neural Sequence-to-Sequence Architectures for Automatic Post-Editing

Marcin Junczys-Dowmunt, Roman Grundkiewicz|arXiv (Cornell University)|Jun 13, 2017

Natural Language Processing Techniques参考文献 14被引用 15

一句话总结

本文提出用于自动后编辑（APE）的双注意力神经序列到序列模型，联合编码源语言（src）和机器翻译（mt）输入，直接预测后编辑（pe）输出。结果表明，端到端的双注意力模型整合全部可用数据，在 WMT-2016 APE 基准测试中达到最先进水平，性能优于先前系统超过 1.5 TER 分，而硬注意力变体在减少编辑次数的同时也实现了具有竞争力的性能。

ABSTRACT

In this work, we explore multiple neural architectures adapted for the task of automatic post-editing of machine translation output. We focus on neural end-to-end models that combine both inputs $mt$ (raw MT output) and $src$ (source language input) in a single neural architecture, modeling $\{mt, src\} ightarrow pe$ directly. Apart from that, we investigate the influence of hard-attention models which seem to be well-suited for monolingual tasks, as well as combinations of both ideas. We report results on data sets provided during the WMT-2016 shared task on automatic post-editing and can demonstrate that dual-attention models that incorporate all available data in the APE scenario in a single model improve on the best shared task system and on all other published results after the shared task. Dual-attention models that are combined with hard attention remain competitive despite applying fewer changes to the input.

研究动机与目标

• 研究端到端神经序列到序列架构，联合建模源语言（src）和机器翻译（mt）输入，以实现自动后编辑。
• 评估硬注意力机制在单语 APE 任务中的有效性。
• 比较双软注意力、硬注意力及混合注意力机制在提升 APE 性能方面的表现。
• 证明将完整的 {src, mt, pe} 三元组整合到单一端到端模型中，可获得优于先前系统的性能。

提出的方法

• 提出一种双注意力编码器-解码器架构，联合编码 src 和 mt 输入，在单一端到端模型中预测 pe 输出。
• 采用条件 GRU 与软注意力机制进行标准注意力建模，使解码器能够聚焦于两个输入序列的相关部分。
• 引入硬注意力机制，对输入序列施加单调且不可微的注意力，从而减少编辑次数。
• 结合硬注意力与软注意力机制，探索混合注意力策略。
• 使用 Marian 神经机器翻译工具包进行实现与训练。
• 应用最小误差率训练（MERT）以调优模型组件，并针对 TER 指标进行优化。

实验结果

研究问题

• RQ1 联合编码 src 和 mt 输入的双注意力模型是否能在 APE 任务中优于单源模型？
• RQ2 在 APE 任务中，硬注意力机制与软注意力机制在编辑效率和性能方面有何差异？
• RQ3 结合硬注意力与软注意力的混合架构是否能在保持对原始 MT 输出忠实度的同时提升 APE 性能？
• RQ4 在完整 {src, mt, pe} 三元组上端到端训练的模型是否能在 WMT-2016 APE 基准测试中达到最先进水平？

主要发现

• 在单一端到端架构中整合 src 和 mt 输入的双注意力模型，其 TER 得分为 1.52 分，优于 WMT-2016 共享任务中最佳系统。
• 双注意力模型的集成在相同测试集上比最佳先前发布的系统组合性能提升 0.7 TER 分。
• 硬注意力模型在显著减少编辑次数的同时实现具有竞争力的性能，体现出对原始 MT 输出更高的忠实度。
• 结合硬注意力的双软注意力模型（M-CGRU-HARD）成功恢复了如 'Satz' 等缺失词汇，并添加了语法正确的助词如 'aus'，而单语模型则无法做到。
• 可视化结果表明，双注意力模型能有效利用 src 恢复缺失翻译，而对 mt 的注意力保持单调性。
• 集成模型减少了劣化句子的数量，但并未显著增加改善句子的数量，表明性能提升源于一致性而非激进修正。