[论文解读] On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation

Chaojun Wang, Rico Sennrich|Zurich Open Repository and Archive (University of Zurich)|May 7, 2020

Natural Language Processing Techniques参考文献 32被引用 13

一句话总结

该论文将神经机器翻译（NMT）中的暴露偏差与幻觉及领域分布偏移联系起来，表明最小风险训练（MRT）通过避免教师强制机制，能够缓解这些问题。MRT在域外设置下将性能提升0.6–1.5 BLEU，将幻觉率相对降低11–21%，同时在使用更大束长时也提升了束搜索的稳定性。

ABSTRACT

The standard training algorithm in neural machine translation (NMT) suffers from exposure bias, and alternative algorithms have been proposed to mitigate this. However, the practical impact of exposure bias is under debate. In this paper, we link exposure bias to another well-known problem in NMT, namely the tendency to generate hallucinations under domain shift. In experiments on three datasets with multiple test domains, we show that exposure bias is partially to blame for hallucinations, and that training with Minimum Risk Training, which avoids exposure bias, can mitigate this. Our analysis explains why exposure bias is more problematic under domain shift, and also links exposure bias to the beam search problem, i.e. performance deterioration with increasing beam size. Our results provide a new justification for methods that reduce exposure bias: even if they do not increase performance on in-domain test sets, they can increase model robustness to domain shift.

研究动机与目标

• 探究暴露偏差对NMT中幻觉与领域分布偏移的实际影响。
• 检验暴露偏差是否加剧了束搜索问题，即随着束大小增加，性能反而下降的现象。
• 评估序列级训练目标（如MRT）是否能提升模型在领域分布偏移下的鲁棒性。
• 分析MLE与MRT在时间步上对参考翻译与幻觉翻译的概率分配及不确定性建模方面的差异。
• 为在低资源或域外设置下使用MRT提供实证依据，尤其是在幻觉问题突出的场景中。

提出的方法

• 采用最小风险训练（MRT）作为序列级目标，通过优化候选翻译的期望损失来避免暴露偏差。
• 使用基于采样的方法近似翻译后验分布，通过温度参数α控制分布的锐度。
• 在IWSLT’14和OPUS数据集上训练基于Transformer的NMT模型，涵盖多个领域（医疗、IT、法律、古兰经、字幕）以及低资源德语-罗曼什语设置。
• 在域内与域外测试集上，对比使用教师强制的MLE与MRT的性能表现。
• 通过BLEU和幻觉率评估翻译质量，其中幻觉检测通过人工标注完成。
• 通过比较每个时间步上参考翻译与干扰项（幻觉）翻译的预测概率，分析模型不确定性。

Figure 1: Per-token probability of out-of-domain reference translations and in-domain distractors (first two graphs share legend). Rightmost plot shows direct comparison for MLE baseline and final MRT model. DE $\to$ EN OPUS .

实验结果

研究问题

• RQ1 在领域分布偏移下，暴露偏差是否导致神经机器翻译中的幻觉？
• RQ2 暴露偏差与束搜索问题有何关联，即为何随着束大小增加，性能反而下降？
• RQ3 MRT（通过避免暴露偏差）是否能减少幻觉并提升对领域分布偏移的鲁棒性？
• RQ4 MLE与MRT在解码各步骤中对参考翻译与幻觉翻译的概率估计上存在哪些差异？
• RQ5 MRT的优势是否仅限于域内性能？其在域外或低资源设置下是否仍能带来可测量的性能提升？

主要发现

• 在所有束大小下，MRT将幻觉率相对降低了11–21%，其中在束大小为50时降低幅度最大。
• 在束大小为50时，MRT相比MLE将域外BLEU提升了0.6–1.5 BLEU，表明其对领域分布偏移具有更强的鲁棒性。
• MLE在后期时间步上对幻觉翻译的概率估计过高，尤其在应用标签平滑时更为明显。
• MRT使模型对参考翻译的置信度提升幅度大于对干扰项的提升，缩小了概率差距，从而降低了幻觉风险。
• MRT缓解了束搜索问题：与MLE相比，随着束大小增加，性能下降的幅度更平缓。
• 人工评估确认，MRT在所有束大小下均一致地降低了幻觉率，相比MLE相对减少了11–21%。

Figure 2: Per-token probability of out-of-domain reference translations and in-domain distractors for different checkpoints in MRT training, showing a widening gap between references and distractors. DE $\to$ EN OPUS.