[論文レビュー] On the Inference Calibration of Neural Machine Translation

Shuo Wang, Zhaopeng Tu+2 more|arXiv (Cornell University)|May 3, 2020

Natural Language Processing Techniques参考文献 28被引用数 6

ひとこと要約

この論文はニューラル機械翻訳（NMT）における推論のキャリブレーションを調査し、ラベルスムージングを施したモデルですら、トレーニングと推論の差異により推論時に顕著なキャリブレーション誤差を示すことを明らかにした。本研究では、高い信頼度予測に対してより高いスムージングペナルティを適用する「段階的ラベルスムージング」を提案し、特に大きなビームサーチを用いる状況下でもキャリブレーションと翻訳性能の両方を向上させた。また、エンコーダーのみを拡大することでキャリブレーションを維持し、性能を向上させられることも示した。

ABSTRACT

Confidence calibration, which aims to make model predictions equal to the true correctness measures, is important for neural machine translation (NMT) because it is able to offer useful indicators of translation errors in the generated output. While prior studies have shown that NMT models trained with label smoothing are well-calibrated on the ground-truth training data, we find that miscalibration still remains a severe challenge for NMT during inference due to the discrepancy between training and inference. By carefully designing experiments on three language pairs, our work provides in-depth analyses of the correlation between calibration and translation performance as well as linguistic properties of miscalibration and reports a number of interesting findings that might help humans better analyze, understand and improve NMT models. Based on these observations, we further propose a new graduated label smoothing method that can improve both inference calibration and translation performance.

研究の動機と目的

• ラベルスムージングによる良好なトレーニングにもかかわらず、NMTの推論時にキャリブレーションが崩れる根本的要因を特定すること。
• キャリブレーション誤差と翻訳誤差、言語的性質（周波度、位置、肥沃度、文法的役割、粒度）、モデル挙動との相関関係を分析すること。
• 翻訳性能を損なわせることなく、特に大きな探索空間下での推論キャリブレーションを改善すること。
• 予測の信頼度に基づいてスムージングペナルティを動的に調整する、新たな段階的ラベルスムージング手法を提案すること。

提案手法

• 本研究では、生成されたトークンの正誤を自動的にアノテートするため、翻訳誤差率（TER）を用いて推論におけるキャリブレーションの評価を可能にした。
• 信頼度の各ビンごとの信頼度と正答率の乖離を可視化するため、信頼性図を構築した。
• 段階的ラベルスムージングを導入し、信頼度 >0.7 の場合にペナルティを 0.3、0.3–0.7 の場合に 0.1、<0.3 の場合に 0.0 とする。
• 正則化（ラベルスムージング、ドロップアウト）およびモデルサイズ（深さ、幅、エンコーダーのみの拡大）が推論キャリブレーションとBLEUスコアに与える影響を評価した。
• ビームサーチのビームサイズを変化させながら、3つの言語対（WMT14 En-De、En-Fr、En-Ro）でキャリブレーション性能を比較した。
• 周波度、位置、肥沃度、文法的役割、語彙の粒度などの言語的性質を、キャリブレーションが崩れたトークンについて分析した。

実験結果

リサーチクエスチョン

• RQ1 ラベルスムージングによる良好なトレーニングにもかかわらず、なぜNMTモデルは推論時にキャリブレーションが崩れるのか？
• RQ2 翻訳誤差（過剰翻訳、誤訳、欠落翻訳）は、過剰に予測された信頼度または低く予測された信頼度とどのように相関するか？
• RQ3 周波度、位置、肥沃度などの言語的および構造的性質（例：頻度、位置、肥沃度）の中で、NMT出力におけるキャリブレーション崩れを最も効果的に予測するのはどれか？
• RQ4 段階的ラベルスムージングは、推論キャリブレーションを効果的に低減させるとともに、翻訳性能を向上させることができるか？
• RQ5 モデルサイズの拡大は推論キャリブレーションにどのように影響するか？また、エンコーダーのみの拡大はネガティブなキャリブレーション効果を緩和できるか？

主な発見

• 推論時のキャリブレーション誤差（ECE）はトレーニング時と比べ顕著に高い—WMT14 En-Deでは15.83 対 1.39—トレーニングと推論の差異による大きなギャップを示している。
• 過剰に予測された予測は過剰翻訳および誤訳誤差と相関が強く、逆に低く予測された予測は欠落翻訳誤差と相関が強い。
• 低周波度トークンは過小評価に苦しんでおり、特に大規模データでは過剰評価の寄与度が顕著である。
• 肥沃度 ≥2（複数の元語に対応する）トークンは過小評価に苦しむ一方、肥沃度 <1 のトークンは過剰評価に苦しむ。
• 段階的ラベルスムージングは推論時のキャリブレーション誤差を低減し、特に大きなビームサーチ（例：ビームサイズ = 100）下でBLEUスコアを向上させた。ECEの低減のみでもわずかな向上が得られた。
• モデルサイズの拡大は推論キャリブレーションを損なうが、エンコーダーのみを拡大することでキャリブレーションを維持しつつ翻訳品質を向上させられた。