[论文解读] Learning to Jointly Translate and Predict Dropped Pronouns with a Shared Reconstruction Mechanism

Longyue Wang, Zhaopeng Tu+2 more|arXiv (Cornell University)|Oct 15, 2018

Natural Language Processing Techniques参考文献 12被引用 4

一句话总结

该论文提出了一种共享重建机制与联合学习框架，通过同时翻译和预测省略代词（DPs），以提升代词省略语言的神经机器翻译性能。通过在编码器和解码器表示之间共享一个重建器，并联合训练DP预测与翻译任务，该模型在先前工作的基础上实现了+1.45 BLEU的提升，DP预测F1分数提高了9%，显著减少了来自外部预测器的误差传播。

ABSTRACT

Pronouns are frequently omitted in pro-drop languages, such as Chinese, generally leading to significant challenges with respect to the production of complete translations. Recently, Wang et al. (2018) proposed a novel reconstruction-based approach to alleviating dropped pronoun (DP) translation problems for neural machine translation models. In this work, we improve the original model from two perspectives. First, we employ a shared reconstructor to better exploit encoder and decoder representations. Second, we jointly learn to translate and predict DPs in an end-to-end manner, to avoid the errors propagated from an external DP prediction model. Experimental results show that our approach significantly improves both translation performance and DP prediction accuracy.

研究动机与目标

• 为解决中文等代词省略语言中省略代词（DPs）的翻译挑战，这些语言中代词被省略，但在英语等非代词省略目标语言中是必需的。
• 减少来自外部DP预测模型的误差传播，这些模型目前仅达到66%的F1分数。
• 通过端到端地联合学习翻译与DP预测，提升翻译质量和DP预测准确性。
• 通过在编码器与解码器之间共享重建器，增强表示学习，以利用跨模态关系。

提出的方法

• 一个共享重建器读取编码器和解码器的隐藏状态，以重建带有DP标注的源句，从而在编码器与解码器表示之间实现知识共享。
• 模型集成了一个联合预测头，在训练期间预测DP在正确位置的出现，使用重建器的隐藏状态作为上下文。
• 训练目标包括对源句和DP预测的重建损失，引导模型学习与DP相关的特征。
• 使用从编码器到解码器的交互注意力机制，以更好地对齐解码器上下文中与DP相关的信息。
• 模型通过重建和DP预测的辅助损失进行端到端训练，避免依赖外部DP预测模型。
• 该方法采用基于注意力的重建，为编码器和解码器表示分别计算独立的上下文向量，通过在重建的源句上应用注意力机制生成。

实验结果

研究问题

• RQ1 与独立的重建器相比，处理编码器和解码器隐藏状态的共享重建器是否能提升DP翻译性能？
• RQ2 将NMT模型与DP预测头联合训练，是否能减少来自外部DP预测器的误差传播？
• RQ3 联合学习在多大程度上能同时提升翻译质量和DP预测准确性？
• RQ4 编码器与解码器表示之间的交互如何影响模型恢复省略代词的能力？
• RQ5 即使DP预测标注的准确性不理想，该模型是否也能在不依赖外部DP预测工具的情况下实现高性能？

主要发现

• 所提出的模型在使用共享重建与联合预测时，相比Wang et al. (2018)报告的最佳结果，实现了+1.45 BLEU的提升，达到34.80 BLEU。
• 联合训练的DP预测模型达到75%的F1分数，比外部模型的66%提升了9个百分点。
• 采用交互注意力（enc→dec）的共享重建器实现了最佳性能，比基线模型高出+3.45 BLEU。
• 即使仅在训练阶段使用重建，在推理阶段不使用重建，该模型仍优于基线和先前SOTA模型，表明其具备强大的泛化能力和实用性。
• 自动标注与人工标注的DP预测之间性能差距缩小，表明联合学习机制有效缓解了误差传播。
• 与先前模型相比，该模型与最优性能（人工标注的DPP）之间的差距更小，表明其对噪声输入的DPP标注具有更强的鲁棒性。