[論文レビュー] Why Neural Machine Translation Prefers Empty Outputs

Xing Shi, Yijun Xiao+1 more|arXiv (Cornell University)|Dec 24, 2020

Natural Language Processing Techniques参考文献 21被引用数 5

ひとこと要約

この論文は、ニューラル機械翻訳（NMT）システムが空出力を好む理由を2つ特定している：ラベルスムージングにより、正しい長さの翻訳に対する信頼度が低下し、すべての文長に共通して使用される1つのエンド・オブ・シーケンス（EoS）トークンの使用により、ゼロ長の翻訳の確率が内蔵的に上昇する。MultiEoSという手法により、異なるターゲット長に対して固有のEoSトークンを導入することで、このバイアスを解消し、空出力の割合を著しく低下させるとともに、適切な長さの制御を回復した。

ABSTRACT

We investigate why neural machine translation (NMT) systems assign high probability to empty translations. We find two explanations. First, label smoothing makes correct-length translations less confident, making it easier for the empty translation to finally outscore them. Second, NMT systems use the same, high-frequency EoS word to end all target sentences, regardless of length. This creates an implicit smoothing that increases zero-length translations. Using different EoS types in target sentences of different lengths exposes and eliminates this implicit smoothing.

研究の動機と目的

• 訓練データにそのような例が存在しないにもかかわらず、NMTシステムが空の翻訳に高い確率を割り当てる理由を調査すること。
• ラベルスムージングが正しい長さの翻訳に対する信頼度を低下させる役割を分析すること。
• すべての文長に共通して使用される1つのEoSトークンの使用が、ゼロ長出力の相対的確率を上昇させる内蔵的なスムージング効果をどのように生じるかを検討すること。
• 異なるターゲット長に対して固有のEoSトークンを使用することで、このバイアスを解消し、翻訳長の正確性を向上させられるかどうかを評価すること。

提案手法

• 著者たちは、NMTモデルにおけるP(y|x)の確率分布を分析し、デコードにおけるEoSトークンの役割に注目した。
• 各ターゲット文が長さlの場合は固有の[EOS-l]トークンで終わるMultiEoS設定を導入し、普遍的な[EOS]トークンに置き換えた。
• ラベルスムージングあり・なしの両方のモデルを訓練し、異なる言語対における最初のデコードステップでの[EoS]の対数尤度を比較した。
• 出力長の分布Q(l|m)のパープレキシティを計算することで、長さ予測における不確実性を定量化した。
• ビームサイズ512でビームサーチを用いてテストセットをデコードし、空出力の割合と長さ比を測定した。
• SingleEoS（標準）とMultiEoSの設定を比較することで、ラベルスムージングとは別に、内蔵的スムージングの影響を分離した。

実験結果

リサーチクエスチョン

• RQ1 訓練データにそのような例が存在しないにもかかわらず、NMTシステムが空の翻訳に高い確率を割り当てる理由は何か？
• RQ2 ラベルスムージングは、短いまたは空の翻訳を好む傾向をどのように促進するか？
• RQ3 すべての文長に共通して使用される1つのEoSトークンの使用が、ゼロ長出力の相対的確率を上昇させる役割を果たすのはなぜか？
• RQ4 異なるターゲット長に対して異なるEoSトークンを使用することで、内蔵的スムージング効果を排除し、空出力の割合を低減できるか？

主な発見

• ラベルスムージングにより、正しい長さの翻訳に対する信頼度が1トークンあたり約5%低下し、累積的に空出力の確率が上昇する。
• 単一EoSによるスムージング効果は、未確認の長さに確率質量が内蔵的に分散されることで、ゼロ長出力の確率を上昇させる。特に、出力長の分布Q(l|m)の不確実性が高い場合に顕著である。
• MultiEoS設定では、最初の位置における[EoS]の対数尤度が、他のすべての語の中で最小に近づき、もはや生成候補として好まれなくなることが示された。
• MultiEoSを用いることで、空出力の割合はEN→DEで52.5%から2.5%、DE→ENで52.0%から2.0%に低下した。一方、長さ比は0.26と0.31から0.74と0.86に改善された。
• Q(l|m)のパープレキシティは空出力の割合と相関しており、高いパープレキシティ（不確実性）は高い空出力割合をもたらす。これはMultiEoSによって是正された。
• MultiEoSアプローチは、追加の長さ正則化を必要とせず、空出力への好まれる傾向を解消した。これは、問題が訓練目的に起因するのではなく、アーキテクチャ設計に起因することを示している。