[論文レビュー] Reducing Hallucinations in Neural Machine Translation with Feature Attribution

Joël Tang, Marina Fomicheva+1 more|arXiv (Cornell University)|Nov 17, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文では、特徴量の寄与度を用いて、生成されたターゲットトークンに過剰に依存するが、ソース入力を無視するモデルを特定・ペナルティ化することで、ニューラル機械翻訳における幻覚現象を低減する新しい補助損失関数を提案する。ソーストークンの寄与度のエントロピーを最小化することで、低品質なデータに対してもモデルの頑健性が向上し、再訓練をせずに幻覚を示す例で13.75 BLEUポイントの向上を達成する。

ABSTRACT

Neural conditional language generation models achieve the state-of-the-art in Neural Machine Translation (NMT) but are highly dependent on the quality of parallel training dataset. When trained on low-quality datasets, these models are prone to various error types, including hallucinations, i.e. outputs that are fluent, but unrelated to the source sentences. These errors are particularly dangerous, because on the surface the translation can be perceived as a correct output, especially if the reader does not understand the source language. We present a case study focusing on model understanding and regularisation to reduce hallucinations in NMT. We first use feature attribution methods to study the behaviour of an NMT model that produces hallucinations. We then leverage these methods to propose a novel loss function that substantially helps reduce hallucinations and does not require retraining the model from scratch.

研究の動機と目的

• 低品質な並列データで訓練されたモデルにおける幻覚現象の根本的要因を調査すること。
• 特徴量の寄与度手法を用いて幻覚出力におけるモデルの挙動を分析し、注意メカニズムの失敗パターンを同定すること。
• 再訓練を必要とせず、微調整可能で微分可能な後処理用の損失関数を設計すること。
• 提案された損失関数の有効性を、幻覚を示す例とそうでない例の両方で評価し、高品質翻訳への悪影響がないことを確認すること。

提案手法

• Integrated Gradientsを用いて、モデル出力に対するソーストークンおよびターゲットトークンの関連性スコアを計算し、翻訳意思決定への寄与度を定量化する。
• ソーストークンの寄与度スコアのエントロピーを、モデルがソース入力にどれほど依存しているかの指標として計算する；高いエントロピーはアライメントの欠如と幻覚の可能性を示唆する。
• ソーストークンの寄与度のエントロピーを高くするのをペナルティ化する新しい補助損失を導入し、モデルがソースコンテンツに一貫して注目するよう促進する。
• 標準的なクロスエントロピー損失とラベルスムージングに加え、損失の大きさをバランスさせるために重み5を設定して、微調整時にこの損失を組み込む。
• 主な評価指標として、バックトランスレーション出力と元のソースの間のBLEUスコアを用い、ルーマニア語→英語翻訳のMLQE-PEデータセットで評価を行う。
• fairseqライブラリを用いて、強力なTransformerベースモデルを微調整し、ベースラインモデルと提案モデルの両方でハイパーパrameterを同一に保つ。

実験結果

リサーチクエスチョン

• RQ1 低リソースまたはノイズの多いデータ条件下で、どのソース入力のパターンがNMTモデルにおける幻覚現象を引き起こすか？
• RQ2 特徴量の寄与度手法は、ニューラル翻訳モデルにおける幻覚を示す挙動を定量的に特定できるか？
• RQ3 ソーストークンの寄与度スコアのエントロピーは、幻覚発生の信頼できる指標となるか？
• RQ4 寄与度エントロピーに基づく微分可能で後処理用の損失関数は、再訓練を伴わずに幻覚を効果的に低減できるか？
• RQ5 提案手法は、幻覚を示さない例においても翻訳品質を維持できるか、全体の性能に悪影響を与えないか？

主な発見

• 提案された補助損失により幻覚現象が顕著に低減され、幻覚サブセットで13.75 BLEUポイントの向上（10.71から24.46に）を達成した。
• 全テストセット全体でも9.35 BLEUポイントの向上（28.90から38.25に）を達成し、広範な有効性を示した。
• ソーストークンの寄与度スコアの高いエントロピーは、常に幻覚出力と関連づけられ、診断的信号としての有効性が裏付けられた。
• 幻覚を示さない例に対しても高い性能を維持し、9.61 BLEUポイントの向上（35.29から44.90に）を達成した。正しく翻訳された例に悪影響がないことが示された。
• 定性的な例から、分離型、振動型、混合型のさまざまな幻覚タイプが、この手法によって効果的に緩和されたことが確認された。
• OoVトークンが存在する状況でも、微調整済みモデルは元の文の核心的な意味を保持し、ベースラインより頑健性に優れた性能を示した。