[论文解读] Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information

Yongkeun Hwang, Hyungu Yun+1 more|arXiv (Cornell University)|Sep 13, 2021

Natural Language Processing Techniques参考文献 28被引用 7

一句话总结

本文提出 CorefCL，一种用于上下文感知神经机器翻译的对比学习框架，通过利用共指信息提升模型对跨句依赖的敏感性。通过在上下文句中通过词省略和替换方式破坏共指提及，CorefCL 生成对比样本，从而在多个文档级翻译任务中同时提升翻译质量（BLEU）和共指消解准确率。

ABSTRACT

Context-aware neural machine translation (NMT) incorporates contextual information of surrounding texts, that can improve the translation quality of document-level machine translation. Many existing works on context-aware NMT have focused on developing new model architectures for incorporating additional contexts and have shown some promising results. However, most existing works rely on cross-entropy loss, resulting in limited use of contextual information. In this paper, we propose CorefCL, a novel data augmentation and contrastive learning scheme based on coreference between the source and contextual sentences. By corrupting automatically detected coreference mentions in the contextual sentence, CorefCL can train the model to be sensitive to coreference inconsistency. We experimented with our method on common context-aware NMT models and two document-level translation tasks. In the experiments, our method consistently improved BLEU of compared models on English-German and English-Korean tasks. We also show that our method significantly improves coreference resolution in the English-German contrastive test suite.

研究动机与目标

• 解决现有上下文感知 NMT 模型中上下文信息利用不足的问题，这些模型主要依赖交叉熵损失。
• 通过引入数据增强与对比学习方案，提升模型对跨句共指不一致的鲁棒性。
• 在训练数据中无需使用真实共指标注的情况下，同时提升翻译质量与共指消解性能。
• 在多种模型架构与数据集（包括低资源与高资源设置）上实现与模型无关的性能提升。
• 探究共指破坏策略（词省略与替换）在提升共指敏感任务泛化能力方面的有效性。

提出的方法

• 使用预训练的共指消解系统自动检测源句与上下文句之间的共指提及。
• 通过词省略与词替换策略破坏上下文句中的共指提及，生成对比样本。
• 应用最大边缘对比损失，促使模型能够区分原始样本与破坏样本，从而增强对上下文不一致性的敏感性。
• 将对比学习目标无缝集成到标准的上下文感知 NMT 模型（如多编码器、分层模型）中，无需修改网络架构。
• 通过标准交叉熵损失与所提出的对比损失联合训练，端到端优化翻译与共指一致性。
• 在多个文档级翻译基准上评估方法，包括 WMT、IWSLT、OpenSubtitles 以及一个网络爬取的英韩语数据集。

实验结果

研究问题

• RQ1 基于共指的数据增强与对比学习是否能在标准交叉熵训练之外进一步提升上下文感知 NMT 性能？
• RQ2 所提出的 CorefCL 方法在专用对比基准 ContraPro 上对共指消解性能有何影响？
• RQ3 CorefCL 的性能提升在多大程度上依赖于破坏策略的选择（词省略 vs. 替换）？
• RQ4 CorefCL 是否能在不同模型架构与领域差异（如 WMT 与 OpenSubtitles 之间）下实现泛化？
• RQ5 CorefCL 是否能提升低资源翻译任务（如英韩字幕）的性能？

主要发现

• CorefCL 在所有评估任务中均持续提升 BLEU 分数，在 WMT 上最高提升 1.5 BLEU 点，在 OpenSubtitles 上最高提升 2.1 BLEU 点。
• 在 ContraPro 英德语对比共指基准上，CorefCL 相较基线将代词消解准确率提升最高达 5.5 个百分点。
• 消融实验表明，同时使用词省略与替换策略时性能最佳，其中词替换对准确率提升的贡献更为显著。
• CorefCL 在 IWSLT 与英韩语任务上也取得显著提升，表明其在低资源设置下具有强正则化作用。
• 即使在 WMT 数据集上（预期存在与 OpenSubtitles 的领域差异），CorefCL 仍使 ContraPro 准确率提升 3.1 个百分点，表明其对分布偏移具有鲁棒性。
• 定性分析表明，当共指一致性至关重要时，CorefCL 能使模型正确解析性别代词（例如，将 'It' 译为阳性 'Er' 而非阴性 'Sie'）。