[論文レビュー] Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models

Yue Zhang, Yafu Li+14 more|arXiv (Cornell University)|Sep 3, 2023

Topic Modeling被引用数 233

ひとこと要約

大規模言語モデルにおける幻覚の包括的な調査であり、定義、ベンチマーク、源泉、評価方法、モデルライフサイクル全体での緩和策をカバーします。

ABSTRACT

While large language models (LLMs) have demonstrated remarkable capabilities across a range of downstream tasks, a significant concern revolves around their propensity to exhibit hallucinations: LLMs occasionally generate content that diverges from the user input, contradicts previously generated context, or misaligns with established world knowledge. This phenomenon poses a substantial challenge to the reliability of LLMs in real-world scenarios. In this paper, we survey recent efforts on the detection, explanation, and mitigation of hallucination, with an emphasis on the unique challenges posed by LLMs. We present taxonomies of the LLM hallucination phenomena and evaluation benchmarks, analyze existing approaches aiming at mitigating LLM hallucination, and discuss potential directions for future research.

研究の動機と目的

• LLMの幻覚を定義し、そのthree main types (input-conflicting, context-conflicting, fact-conflicting) を分類する。
• LLMの幻覚を研究するために用いられる評価ベンチマークと指標を要約する。
• LLMのライフサイクル全体にわたる幻覚の源泉を特定し、緩和戦略を検討する。
• 前処理、ファインチューニング、RLHF、推論など、異なる段階での緩和アプローチをレビューし、今後の方向性を概説する。）
• method
• [
• ① LLM幻覚タイプの分類と例（input-conflicting、context-conflicting、fact-conflicting）のタキソノミーを提示する。
• ② 生成型と識別型を含む代表的なベンチマークとタスク形式を調査する。
• ③ 事前学習データ、知識想起/推論の限界、アライメント、生成戦略など、幻覚の源泉を分析する。
• ④ ライフサイクルのタイミング別に緩和策を分類する（pre-training、alignment/fine-tuning、inference）。
• ⑤ 評価の課題を論じ、堅牢で自動化されたベンチマークの必要性を強調する。

提案手法

• 前提知識としてLLM幻覚のタイプの分類と例を提示する（input-, context-, fact-conflicting）。
• 代表的なベンチマークとタスク形式を調査する（generation vs. discrimination）。
• 事前学習データ、知識の想起/推論制約、整合性、生成戦略など、幻覚の源泉を分析する。
• LLMライフサイクルのタイミング別に緩和策を分類する（pre-training、alignment/fine-tuning、inference）。
• 評価の課題を論じ、堅牢で自動的なベンチマークの必要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 LLM出力におけるCanonicalな幻覚のタイプは何か、そしてそれらはどのように検出できるのか？
• RQ2 どのベンチマークと指標が、タスクと形式を横断してLLM幻覚を効果的に評価できるのか？
• RQ3 LLMsにおける主な幻覚の源泉は何か、そしてモデルライフサイクル全体で緩和をどのように効果的に適用できるのか？

主な発見

• LLMの幻覚は、input-conflicting、context-conflicting、fact-conflictingタイプに分類でき、それぞれの例と議論を含む。
• 生成型ベンチマークと識別型ベンチマークの両方が存在し、QA、TI、テキスト補完タスクを横断して評価される。
• 幻覚の源泉は、事前学習データの品質、知識の記憶限界、過信、ミスアライメント、トークンレベル最適化などの生成戦略にまたがる。
• ライフサイクルの各段階での緩和戦略が議論され、データキュレーション、アラインメントの改善、プロンプト/推論時の技術が強調される。
• 本調査は、規模・多様性・自動評価の難しさゆえのLLM幻覚の独自の課題を強調し、継続的な研究のためのオープンソース資源を指し示す。