[論文レビュー] Calibration of Encoder Decoder Models for Neural Machine Translation

Aviral Kumar, Sunita Sarawagi|arXiv (Cornell University)|Mar 3, 2019

Natural Language Processing Techniques参考文献 32被引用数 40

ひとこと要約

この論文は注意機構を用いたエンコーダ-デコーダNMTモデルの較正を分析し、EOSと注意不確実性を主要な誤較正ソースとして特定し、文脈認識の再較正手法を提案します。これによりトークンレベルおよびシーケンスレベルの較正を改善し、ビームサイズをまたいだBLEUの安定性を高めます。

ABSTRACT

We study the calibration of several state of the art neural machine translation(NMT) systems built on attention-based encoder-decoder models. For structured outputs like in NMT, calibration is important not just for reliable confidence with predictions, but also for proper functioning of beam-search inference. We show that most modern NMT models are surprisingly miscalibrated even when conditioned on the true previous tokens. Our investigation leads to two main reasons -- severe miscalibration of EOS (end of sequence marker) and suppression of attention uncertainty. We design recalibration methods based on these signals and demonstrate improved accuracy, better sequence-level calibration, and more intuitive results from beam-search.

研究の動機と目的

• 最先端の注意機構ベース NMT 系統（Bahdanau、GNMT、Transformer）における較正のギャップを同定し、定量化する。
• EOSトークンの挙動と注意不確実性に焦点を当て、誤校正の根本原因を診断する。
• 入力カバレッジと注意エントロピーを用いてトークン確率を調整する再較正手法を開発する。
• トークンレベルの較正、シーケンスレベルの較正、およびビーム探索の安定性の改善を示す。
• 学習手順を変更せずに較正がBLEUの向上をもたらすことを示す。

提案手法

• 6つのNMTベンチマークにわたり、重み付き期待較正誤差(weighted ECE)でトークンレベルの較正を測定する。
• EOSと注意不確実性のシグナルを強調して、トークン単位の較正を分析する。
• 2部構成の再較正を提案する： (i) 入力カバレッジの関数としてのEOS補正、(ii) 入力文脈依存の温度スケーリングを用いた、ニューラルネットワークベースのロジットの温度調整。
• 検証用に分割した保持データで較正パラメータを学習し、事前訓練済みモデルに適用する。
• 単一温度スケーリングと比較し、BLEUとビームサイズのロバスト性への影響を評価する。
• BLEUに基づく構造化較正指標（Structured ECE）を用いてシーケンスレベルの較正を評価する。

実験結果

リサーチクエスチョン

• RQ1 教師強制下で、現代のエンコーダ-デコーダNMTモデルにおけるトークンレベルの確率はどれくらい較正されているか？
• RQ2 NMTにおける誤校正を引き起こす主要な要因は何か、EOSシグナリングと注意不確実性はどのように寄与するか？
• RQ3 文脈認識型再較正方式は、モデルを再訓練することなく、トークンレベルとシーケンスレベルの較正の両方を改善できるか？
• RQ4 改善された較正はビーム探索の推論を安定化し、さまざまなビーム幅においてBLEUを改善しますか？

主な発見

• 評価対象の6モデルはいずれも誤校正で、ECE値は2.9から9.8の範囲で、いくつかのケースで過信が観察された。
• EOSの較正は特に不良で、モデル種別に応じて過大評価または過小評価されることが多く、EOS signalingが弱いことを示している。
• 注意不確実性は較正誤差を高める傾向があり、特に高エントロピーな注意分布で顕著である。
• 末端トークンと先頭トークンの較正はモデル間で異なり、誤校正がトップ予測だけでなく全体のsoftmax出力に影響することを示している。
• 文脈認識型再較正法（入力カバレッジに基づくEOS補正とエントロピー／ロジットに基づく温度スケーリング）を適用すると、モデル全体でECEが低減し、複数のタスクでBLEUを最大0.4ポイント改善することが多い。