[論文レビュー] Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation

Guerreiro, Nuno M., Elena Voita+1 more|arXiv (Cornell University)|Aug 10, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、データの摂動なしで自然でドメイン内な設定において神経機械翻訳（NMT）における幻覚現象を厳密に研究する手法を提案する。3,415件のアノテート済み幻覚を含むデータセットを導入し、系列の対数尤度や不確実性に基づく検出器を含む検出手法を評価した結果、対数尤度が特化したヒューリスティクスや品質推定を上回ることが判明した。著者らはさらに、MCドロップアウトによる再ランク付けを用いて幻覚率を3倍に低減するテスト時手法DeHallucinatorを提案し、検出の再現率を33％から85％まで向上させた。

ABSTRACT

Although the problem of hallucinations in neural machine translation (NMT) has received some attention, research on this highly pathological phenomenon lacks solid ground. Previous work has been limited in several ways: it often resorts to artificial settings where the problem is amplified, it disregards some (common) types of hallucinations, and it does not validate adequacy of detection heuristics. In this paper, we set foundations for the study of NMT hallucinations. First, we work in a natural setting, i.e., in-domain data without artificial noise neither in training nor in inference. Next, we annotate a dataset of over 3.4k sentences indicating different kinds of critical errors and hallucinations. Then, we turn to detection methods and both revisit methods used previously and propose using glass-box uncertainty-based detectors. Overall, we show that for preventive settings, (i) previously used methods are largely inadequate, (ii) sequence log-probability works best and performs on par with reference-based methods. Finally, we propose DeHallucinator, a simple method for alleviating hallucinations at test time that significantly reduces the hallucinatory rate. To ease future research, we release our annotated dataset for WMT18 German-English data, along with the model, training data, and code.

研究の動機と目的

• 人工的に強調された設定を超えて、NMTにおける幻覚現象を研究するための堅固な基盤を確立すること。
• 人間によるアノテーションデータを用いて、現実世界のドメイン内NMT出力におけるさまざまな幻覚のタイプを特定・分類すること。
• 自然な推論設定において、ヒューリスティクスや品質推定を含む、既存の幻覚検出手法を厳密に評価すること。
• MCドロップアウト仮説の再ランク付けを用いて幻覚を低減する、軽量なテスト時手法DeHallucinatorを提案・検証すること。
• 将来的な研究を支援するため、公開可能なデータセット、モデル、およびコードをリリースすること。

提案手法

• 高リソースNMTシステムから抽出した3,415文を、振動的、強く分離された、完全に分離された幻覚など、異なる幻覚タイプの構造的ラベルでアノテートする。
• 人間による翻訳を用いて、元のコンテンツからの分離に基づき幻覚カテゴリを検証および定義する。
• 注釈付きのヒューリスティクス、品質推定（COMETおよびCOMET-QE）、および系列の対数尤度を含む、複数の幻覚検出手法を評価する。
• 軽量な検出器を適用し、MCドロップアウトを用いて再生成を行い、スコアが最も高い翻訳を選択するテスト時補正パイプラインであるDeHallucinatorを提案する。
• MCドロップアウトを用いて複数の仮説を生成し、系列の対数尤度でスコアを付け、信頼性を向上させる最良の候補を選択する。
• 再現性および将来的な研究を可能にするために、アノテート済みデータセット、トレーニング済みモデル、およびコードをリリースする。

実験結果

リサーチクエスチョン

• RQ1 人工的に強調された設定とは対照的に、自然で摂動のないNMT設定において、さまざまな幻覚検出手法の性能はいかがなものか？
• RQ2 系列の対数尤度は、外部リファレンスを必要とせず、信頼できるリファレンスフリーの幻覚検出器として機能できるか？また、COMETのようなリファレンスベース手法と比べてどうか？
• RQ3 COMET や COMET-QE といった品質推定システムは、幻覚と他の翻訳エラーを効果的に区別できるか？
• RQ4 MCドロップアウトによる再ランク付けを用いたテスト時補正は、正しく翻訳された文を保持したまま、幻覚率を顕著に低減できるか？
• RQ5 どのタイプの幻覚が補正に対して最も適しているか？また、それらはモデルの挙動について何を明らかにしているか？

主な発見

• 系列の対数尤度は、生成プロセスの副産物であり外部リファレンスを必要としないため、リファレンスベースのCOMETと同等の性能を示す。
• 注釈付きのヒューリスティクスや品質推定システムといった、従来の検出手法は、自然な状況下での幻覚同定に対してはほとんど不十分である。
• リファレンスフリーのCOMETの変種であるCOMET-QEは、幻覚の深刻さを罰しないことが判明し、品質推定が幻覚検出の信頼できる代理指標ではないことが示された。
• DeHallucinatorを適用することで、検出された候補のうち正しい翻訳の割合が33％から85％に上昇し、検出の信頼性が顕著に向上した。
• DeHallucinatorを適用した後、幻覚率は3倍に低減された。これは、テスト時補正としての有効性を示している。
• 大多数の幻覚は正しく翻訳に上書きされるため、これらは主に確率的生成に起因しており、深層学習モデルの深刻な欠陥とは異なる。ただし、完全に分離されたケースはトレーニングデータの重複と関連している。