[论文解读] Guided Alignment Training for Topic-Aware Neural Machine Translation

Wenhu Chen, Evgeny Matusov+2 more|arXiv (Cornell University)|Jul 6, 2016

Natural Language Processing Techniques被引用 28

一句话总结

本文提出引导对齐训练，通过利用 IBM Model 4 的 Viterbi 对齐结果来优化注意力机制，同时结合主题元数据以提升解码性能。该方法在电商产品标题上将 BLEU 分数提升 2.7 个百分点（从 18.6% 提升至 21.3%），并在 IWSLT 语音翻译任务上达到最先进性能，使用集成方法相比短语基基线系统高出 2.1 BLEU 分数。

ABSTRACT

In this paper, we propose an effective way for biasing the attention mechanism of a sequence-to-sequence neural machine translation (NMT) model towards the well-studied statistical word alignment models. We show that our novel guided alignment training approach improves translation quality on real-life e-commerce texts consisting of product titles and descriptions, overcoming the problems posed by many unknown words and a large type/token ratio. We also show that meta-data associated with input texts such as topic or category information can significantly improve translation quality when used as an additional signal to the decoder part of the network. With both novel features, the BLEU score of the NMT system on a product title set improves from 18.6 to 21.3%. Even larger MT quality gains are obtained through domain adaptation of a general domain NMT system to e-commerce data. The developed NMT system also performs well on the IWSLT speech translation task, where an ensemble of four variant systems outperforms the phrase-based baseline by 2.1% BLEU absolute.

研究动机与目标

• 为低资源、特定领域且 OOV 率较高的文本（如电商产品标题）提升 NMT 中注意力机制的可靠性。
• 将统计词对齐知识（IBM Model 4 的 Viterbi 对齐）整合到 NMT 训练中，以引导注意力学习。
• 探索将主题或类别元数据作为外部信号，以提升低资源领域中的翻译质量。
• 评估通过在电商数据上微调通用领域 NMT 模型实现领域自适应的有效性。
• 证明结合对齐引导、主题信号与领域自适应的混合方法可缩小与短语基 SMT 系统的差距。

提出的方法

• 引入一种引导对齐损失，惩罚 NMT 训练过程中注意力分布与 IBM Model 4 Viterbi 对齐结果的偏离。
• 对对齐损失采用衰减权重调度策略，初始权重较高，随训练轮次逐渐降低，以避免对对齐信号过拟合。
• 将主题信息（如产品类别）表示为向量，并与解码器隐藏状态拼接，以条件化翻译生成。
• 通过使用 NMT 预测结果迭代优化对齐监督信号，实现对齐质量在训练过程中的逐步提升。
• 通过在电商平行数据上微调预训练的 WMT15 NMT 模型，实现领域自适应。
• 构建集成系统，融合多个变体模型（如是否包含主题信息、是否使用引导对齐）以提升性能。

实验结果

研究问题

• RQ1 IBM Model 4 的 Viterbi 对齐能否改善电商翻译中 NMT 的注意力学习？
• RQ2 在低资源、特定领域设置下，将主题元数据作为外部信号是否能提升翻译质量？
• RQ3 通过微调实现的领域自适应在电商数据上的 NMT 性能提升程度如何？
• RQ4 在不同机器翻译任务中，引导对齐与主题建模在有效性上如何比较？
• RQ5 结合引导对齐、主题信号与领域自适应的集成方法能否超越短语基 SMT 基线？

主要发现

• 引导对齐训练使电商产品标题的 BLEU 分数从 18.6% 提升至 21.3%，绝对提升 2.7 分。
• 在四个最佳模型的集成中加入主题信息后，BLEU 分数进一步提升至 24.5%。
• 通过在电商数据上微调基于 WMT15 的 NMT 模型实现领域自适应，BLEU 分数绝对提升超过 3.0 分。
• 四个领域自适应模型的集成系统达到 25.6% 的 BLEU 分数，仅比短语基 SMT 基线（26.2%）低 0.6 分。
• 在 IWSLT 语音翻译任务上，集成系统达到 27.8% 的 BLEU 分数，比使用 OSM 特征的短语基基线高出 2.1 BLEU 分。
• 句级分析显示，NMT 在 910 个标题中的 386 个上优于 SMT，尤其在名词短语顺序与流畅性方面表现更优。