[論文レビュー] Analyzing Uncertainty in Neural Machine Translation

Myle Ott, Michael Auli+2 more|arXiv (Cornell University)|Feb 28, 2018

Natural Language Processing Techniques参考文献 30被引用数 55

ひとこと要約

本論文はニューラル機械翻訳における内在的不確実性と外在的不確実性を分析し、ビーム探索とサンプリングを比較しています。探索が有効である一方で、モデルは確率質量を過度に広く分布させ、訓練データのノイズ（コピー元のようなデータ）により大規模ビームの性能が低下することを示しています。さらに、較正分析と簡易な緩和戦略を提示します。

ABSTRACT

Machine translation is a popular test bed for research in neural sequence-to-sequence models but despite much recent research, there is still a lack of understanding of these models. Practitioners report performance degradation with large beams, the under-estimation of rare words and a lack of diversity in the final translations. Our study relates some of these issues to the inherent uncertainty of the task, due to the existence of multiple valid translations for a single source sentence, and to the extrinsic uncertainty caused by noisy training data. We propose tools and metrics to assess how uncertainty in the data is captured by the model distribution and how it affects search strategies that generate translations. Our results show that search works remarkably well but that models tend to spread too much probability mass over the hypothesis space. Next, we propose tools to assess model calibration and show how to easily fix some shortcomings of current models. As part of this study, we release multiple human reference translations for two popular benchmarks.

研究の動機と目的

• 固有タスクの不確実性（複数の妥当な翻訳）と外在的データノイズがNMTの性能に与える影響を調査する。
• モデル分布がデータ分布にどれだけ適合しているかを評価し、それが探索戦略に与える影響を検討する。
• トークン、集合、シーケンスレベルでの較正を特徴づけ、対策を特定する。
• 大規模ビームデコードに対する訓練データのアーティファクト（例：コピー元のデータ）の影響を評価する。
• 実践的な緩和戦略を提供し、ベンチマーク向けの人間のリファレンス翻訳を公開する。

提案手法

• エンコーダ–デコーダ構造とアテンションを備えた、Fairseqベースの事前学習済みシーケンス対シーケンスモデルを用いる。
• 仮説間でビーム探索とサンプリングを比較し、BLEUとモデル尤度を評価して不確実性を定量化する。
• モデル出力とデータ分布を比較するために、トークンレベルのユニグラム統計を分析する。
• 仮説集合全体でのモデル確率と真のデータ確率を比較して集合レベルの較正を評価する。
• 訓練データに合成コピーノイズを導入して外在的不確実性の影響を研究し、緩和戦略を検証する。
• 評価を支援するためにWMTデータセットの複数の人間リファレンス翻訳を公開する。

実験結果

リサーチクエスチョン

• RQ1 NMTモデルは翻訳の固有の曖昧さをデータの訓練アーティファクトとどの程度区別して捉えているのか？
• RQ2 大きなビーム幅が翻訳品質を劣化させる理由は何か、これはモデル適合の影響か探索バイアスによるものか？
• RQ3 NMTモデルはトークン、文、集合レベルで確率推定を較正しているか？
• RQ4 コピー元をコピーしたターゲットなどのデータアーティファクトがデコーダの挙動と翻訳品質に与える影響は何か？
• RQ5 簡単なデータクリーニングと推論制約で広いビームで観察される問題を緩和できるか？

主な発見

• ビーム探索は高確率翻訳を見つけるのに有効だが、モデル分布は仮説間で確率質量を過度に広く分散させる。
• サンプリングは多様な出力を生成するが、最上位候補に対するトップBLEUはビーム探索より低く、より多くのサンプルを取るとBLEUが低下することがある。
• 訓練データのコピー様ノイズ（ソースのターゲットコピー）は大規模ビーム出力でコピーを過剰に膨張させ、広いビームのBLEUを劣化させる。
• データ前処理（コピー様ペアの除去）と推論制約（ソースとの重複を剪定）により大規模ビームの劣化を緩和しBLEUを改善する。
• モデルサンプルのユニグラム統計は一般語に関してデータと一致するが、ビーム出力では稀少語が過小評価され、語レベルの較正ギャップを示している。
• 集合レベルの較正は、仮説の集合を考慮するとモデルの確率質量がデータ分布と一致することを示す一方、個々のシーケンスは過大評価・過小評価されることがある。