[論文レビュー] Hallucinations in Large Multilingual Translation Models

Guerreiro, Nuno M., Duarte Alves+5 more|arXiv (Cornell University)|Mar 28, 2023

Ferroelectric and Negative Capacitance Devices被引用数 13

ひとこと要約

本論文は、100を超える方向にわたる大規模多言語翻訳モデル（M2M-NMTとChatGPT）の幻覚を分析し、摂動と自然翻訳に対する罹患率、タイプ、および緩和戦略を特定する。

ABSTRACT

Large-scale multilingual machine translation systems have demonstrated remarkable ability to translate directly between numerous languages, making them increasingly appealing for real-world applications. However, when deployed in the wild, these models may generate hallucinated translations which have the potential to severely undermine user trust and raise safety concerns. Existing research on hallucinations has primarily focused on small bilingual models trained on high-resource languages, leaving a gap in our understanding of hallucinations in massively multilingual models across diverse translation scenarios. In this work, we fill this gap by conducting a comprehensive analysis on both the M2M family of conventional neural machine translation models and ChatGPT, a general-purpose large language model~(LLM) that can be prompted for translation. Our investigation covers a broad spectrum of conditions, spanning over 100 translation directions across various resource levels and going beyond English-centric language pairs. We provide key insights regarding the prevalence, properties, and mitigation of hallucinations, paving the way towards more responsible and reliable machine translation systems.

研究の動機と目的

• 英語中心と非英語中心の方向性にわたる、 massively multilingual translation models?の幻覚の罹患率と性質を評価する。
• 監督付き多言語NMT（M2Mファミリ）と promptingベースのLLM翻訳（ChatGPT）との間で、幻覚の挙動を比較する。
• 多様な言語ペアとドメインにおいて、入力摂動下および自然（摂動なし）翻訳での幻覚を調査する。
• デコーダ設計、均一サンプリング、およびフォールバックシステムの活用を含む緩和戦略を検討し、翻訳の信頼性を向上させる。

提案手法

• M2M-100ファミリーモデル（S: 418M、M: 1.2B、L: 12B）および蒸留済みSMaLL100（330M）を100言語で評価し、ビームサイズ4でデコードする。
• ChatGPT（gpt-3.5-turbo）をゼロショットプロンプトで翻訳させ、NMTベースラインと比較する。
• 摂動ベースの検出（スペルミス、大文字小文字の違い、頻繁なトークン挿入）および自然幻覚検出器によって幻覚を特徴づける。
• ALTI+（detached）とtop-n-gram(TNG)（oscillatory）を用いて、自然幻覚を detached（分離型）と oscillatory（振動型）に分類する。
• Flores-101、WMT、TICOの医療分野データセットで評価し、品質と検出の指標としてspBLEU、COMET-22、CometKiwi、LaBSEのスコアを報告する。

Figure 1 : Heatmap of hallucination rates for each model in the languages considered. Pattern-filled cells indicate at least one hallucination under perturbation for a given model-language pair.

実験結果

リサーチクエスチョン

• RQ1 多言語翻訳モデルにおける幻覚は、高リソース、 midリソース、低リソースの言語間でどれくらい罹患しているか。
• RQ2 ChatGPTと従来のNMTモデルは多言語翻訳において似たような幻覚パターンを示すか、それとも異なるパターンを示すか。
• RQ3 自然幻覚はどのようなタイプ（detach/oscillatory）をとり、言語リソースレベルと翻訳方向によってどのように変化するか。
• RQ4 摂動の頑健性とアーキテクチャ/訓練の選択が幻覚を緩和できるか、フォールバックは全体的な翻訳品質を改善するか。

主な発見

• 低リソースの言語ペアや非英語中心の方向を含む翻訳において幻覚の発生率が上昇し、10％を超えることが多い。
• 摂動下の幻覚はリソースが高いほど低下するが、言語間のばらつきは残る。ChatGPTはターゲット外れの翻訳が多く、過剰生成が見られ、振動的幻覚は少ないという明確なパターンを示す。
• 蒸留された浅いモデル（SMaLL100）は、エンコーダ表現により依存する程度を高め、均一サンプリングを用いて高リソースバイアスを減らすことで幻覚を抑制できる可能性があり、低リソース設定で幻覚を抱える言語数が減る。
• 自然幻覚は低リソース方向で頻繁に発生し、低リソース言語ではより分離型である一方、中高リソース方向では振動型幻覚の方が多い。
• 多様なモデルを備えたフォールバックシステムは翻訳品質を大幅に改善し、振動型幻覚などの病理を緩和する。摂動から生じる幻覚のほとんどは追加サンプリングで反転可能である。

Figure 2 : Heatmap of the percentage of hallucinations detected with TNG (oscillatory hallucinations) among all hallucinations. Pattern-filled cells indicate at least one natural hallucination for a given model-LP combination.