[論文レビュー] Prevent the Language Model from being Overconfident in Neural Machine Translation

Mengqi Miao, Fandong Meng+3 more|arXiv (Cornell University)|May 24, 2021

Natural Language Processing Techniques参考文献 43被引用数 4

ひとこと要約

この論文は、神経機械翻訳（NMT）における幻覚を低減するための新しい手法を提案する。NMT内蔵言語モデル（LM）の過信を是正することに焦点を当て、LMの過信度を測る指標としてNMTとLMの間のマージンを導入し、このマージンを最大化する2つの目的関数（MTOとMSO）を提案する。これにより、WMT14 En-De、WMT19 Zh-En、WMT14 En-Frタスクでそれぞれ+1.36、+1.50、+0.63のBLEU向上を達成し、人的評価でも翻訳の適切さが向上していることが確認された。

ABSTRACT

The Neural Machine Translation (NMT) model is essentially a joint language model conditioned on both the source sentence and partial translation. Therefore, the NMT model naturally involves the mechanism of the Language Model (LM) that predicts the next token only based on partial translation. Despite its success, NMT still suffers from the hallucination problem, generating fluent but inadequate translations. The main reason is that NMT pays excessive attention to the partial translation while neglecting the source sentence to some extent, namely overconfidence of the LM. Accordingly, we define the Margin between the NMT and the LM, calculated by subtracting the predicted probability of the LM from that of the NMT model for each token. The Margin is negatively correlated to the overconfidence degree of the LM. Based on the property, we propose a Margin-based Token-level Objective (MTO) and a Margin-based Sentencelevel Objective (MSO) to maximize the Margin for preventing the LM from being overconfident. Experiments on WMT14 English-to-German, WMT19 Chinese-to-English, and WMT14 English-to-French translation tasks demonstrate the effectiveness of our approach, with 1.36, 1.50, and 0.63 BLEU improvements, respectively, compared to the Transformer baseline. The human evaluation further verifies that our approaches improve translation adequacy as well as fluency.

研究の動機と目的

• NMTにおける不適切な翻訳の根本的原因を解明すること、特に、流暢なが誤りである出力を生成する内蔵言語モデル（LM）の過信度に焦点を当てる。
• NMTデコード中におけるLMの過信度を測定可能な指標として定義し、的確な干渉を可能にする。
• NMTとLMの確率の間のマージンを直接最大化する最適化目的関数を提案し、部分的翻訳への過剰依存を低減する。
• 追加データやモデルアーキテクチャの変更を必要とせず、訓練時最適化に焦点を当て、翻訳の適切さを向上させること。

提案手法

• NMTとLMの間のマージンは、各ターゲットトークンについてNMTモデルの予測確率とLMの予測確率の差として定義される。
• マージンに基づくトークンレベル目的関数（MTO）は、訓練中にこのマージンをトークンレベルで最大化するように定式化される。
• マージンに基づく文レベル目的関数（MSO）では、多くの負のマージンを持つトークンを含む文を「汚染データ」として特定し、その重みを低減するための動的重み関数が導入される。
• MSO目的関数はファインチューニング中に適用され、モデル自身がマージン品質を評価することで、段階的に問題のある訓練例を除外する。
• この手法はアーキテクチャの変更なしにTransformerアーキテクチャに適用され、損失関数の調整のみに依存する。
• 標準的な交差エントロピー損失に加え、マージン目的関数を補助的な訓練信号として追加し、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 内蔵言語モデルの過信度が、NMTにおける不適切な翻訳にどの程度寄与しているか。
• RQ2 デコード中におけるLMの過信度を測る指標として、NMTとLMの確率のマージンが信頼できる指標となるか。
• RQ3 補助目的関数によってこのマージンを最大化することで、滑らかさを損なわず翻訳の適切さが向上するか。
• RQ4 マージン品質に基づく動的データ選択メカニズムは、訓練効率とモデル一般化性能を向上させることができるか。

主な発見

• 提案されたマージンに基づくトークンレベル目的関数（MTO）は、Transformerベースラインと比較してWMT14英語-ドイツ語翻訳タスクで+1.36のBLEU向上を達成した。
• マージンに基づく文レベル目的関数（MSO）は、WMT19中国語-英語翻訳タスクで+1.50のBLEU向上を達成し、MTOを上回った。
• WMT14英語-フランス語タスクでは、+0.63のBLEU向上を達成し、多様な言語対において一貫した向上が確認された。
• 人的評価により、提案手法を用いて生成された翻訳は、滑らかさを維持または向上させつつ、顕著に適切さが向上していることが確認された。
• MSOにおける動的重み関数は、「汚染データ」として特定された高負のマージンを示すコンテンツを効果的に同定し、訓練の安定性と性能を向上させた。
• この手法は、アーキテクチャの変更や外部データを一切必要とせず、損失関数最適化に依存するだけで翻訳品質を向上させた。