[论文解读] Calibration of Encoder Decoder Models for Neural Machine Translation

Aviral Kumar, Sunita Sarawagi|arXiv (Cornell University)|Mar 3, 2019

Natural Language Processing Techniques参考文献 32被引用 40

一句话总结

简要：该论文分析注意力驱动的编码器-解码器NMT模型的校准，识别EOS和注意力不确定性作为关键的错配源，并提出一个上下文感知的再校准方法，提升令牌级和序列级校准，并在束宽变化下稳定BLEU。

ABSTRACT

We study the calibration of several state of the art neural machine translation(NMT) systems built on attention-based encoder-decoder models. For structured outputs like in NMT, calibration is important not just for reliable confidence with predictions, but also for proper functioning of beam-search inference. We show that most modern NMT models are surprisingly miscalibrated even when conditioned on the true previous tokens. Our investigation leads to two main reasons -- severe miscalibration of EOS (end of sequence marker) and suppression of attention uncertainty. We design recalibration methods based on these signals and demonstrate improved accuracy, better sequence-level calibration, and more intuitive results from beam-search.

研究动机与目标

• 识别并量化最先进的基于注意力的NMT系统（Bahdanau、GNMT、Transformer）的校准差距。
• 诊断错配的根本原因，聚焦于EOS令牌行为和注意力不确定性。
• 开发一种利用输入覆盖率和注意力熵来调整令牌概率的再校准方法。
• 在令牌级校准、序列级校准和束搜索稳定性方面展示改进。
• 展示校准可以在不改变训练过程的前提下带来BLEU增益。

提出的方法

• 在六个NMT基准上使用加权的期望校准误差（weighted ECE）来衡量令牌级校准。
• 分析令牌级校准，强调EOS和注意力不确定性信号。
• 提出两部分再校准：（i）基于输入覆盖率的EOS校正作为函数，（ii）基于神经网络的、输入上下文相关的对数几率温度缩放。
• 在保留集上训练校准参数并应用于预训练模型。
• 与单一温度缩放进行比较，并评估对BLEU和束宽鲁棒性的影响。
• 使用基于结构的BLEU校准度量（Structured ECE）来评估序列级校准。

实验结果

研究问题

• RQ1 在教师强制下，当代编码器-解码器NMT模型的令牌级概率有多么校准？
• RQ2 推动NMT错配的主要因素是什么，EOS信号和注意力不确定性如何贡献？
• RQ3 在不重新训练模型的情况下，是否存在一个上下文感知的再校准方案可以同时改善令牌级和序列级校准？
• RQ4 改进的校准是否能稳定束搜索推理并在不同束宽下提升BLEU？

主要发现

• 所有六个被评估的NMT模型都存在校准问题，ECE值介于2.9到9.8之间，且在若干情形中存在过度自信。
• EOS校准特别差，常常根据模型类型过度估计或低估，表明EOS信号较弱。
• 注意力不确定性与更高的校准误差相关，尤其是对高熵的注意力分布。
• 尾部/头部令牌的校准在不同模型之间差异较大，表明错配影响的是整个softmax输出，而不仅仅是最高概率的预测。
• 一种上下文感知的再校准方法（覆盖信息驱动的EOS校正加上基于熵/对数几率的温度缩放）在模型间降低了ECE，通常在若干任务中BLEU提升可达0.4点。