[論文レビュー] A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

Lei Huang, Weijiang Yu+9 more|arXiv (Cornell University)|Nov 9, 2023

Text Readability and Simplification被引用数 207

ひとこと要約

本調査はLLMの幻覚の洗練された分類学を提供し、データ・訓練・推論の原因を分析し、検出ベンチマークを検討し、緩和アプローチを概説する。

ABSTRACT

The emergence of large language models (LLMs) has marked a significant breakthrough in natural language processing (NLP), fueling a paradigm shift in information acquisition. Nevertheless, LLMs are prone to hallucination, generating plausible yet nonfactual content. This phenomenon raises significant concerns over the reliability of LLMs in real-world information retrieval (IR) systems and has attracted intensive research to detect and mitigate such hallucinations. Given the open-ended general-purpose attributes inherent to LLMs, LLM hallucinations present distinct challenges that diverge from prior task-specific models. This divergence highlights the urgency for a nuanced understanding and comprehensive overview of recent advances in LLM hallucinations. In this survey, we begin with an innovative taxonomy of hallucination in the era of LLM and then delve into the factors contributing to hallucinations. Subsequently, we present a thorough overview of hallucination detection methods and benchmarks. Our discussion then transfers to representative methodologies for mitigating LLM hallucinations. Additionally, we delve into the current limitations faced by retrieval-augmented LLMs in combating hallucinations, offering insights for developing more robust IR systems. Finally, we highlight the promising research directions on LLM hallucinations, including hallucination in large vision-language models and understanding of knowledge boundaries in LLM hallucinations.

研究の動機と目的

• 事実性と忠実性に焦点を当てたLLM幻覚の洗練された分類法を定義し、その妥当性を正当化する。
• データ・訓練・推論段階全体の幻覚の根本原因を分析する。
• LLM幻覚の検出手法と評価ベンチマークを検討する。
• 根本原因と実運用上の考慮事項に対処する緩和戦略を提示する。
• 信頼できるLLMsにおける未解決課題と今後の研究方向を強調する。

提案手法

• 事実性幻覚（不整合、捏造）を忠実性幻覚（指示、文脈、論理）と区別する層状で細分化された分類学を、サブカテゴリーを用いて提案する。
• 幻覚の原因をデータ品質、訓練ダイナミクス、推論/デコード過程に結びつけ、例示的な例を示す。
• 事実性および忠実性幻覚の既存の検出技術とベンチマークを調査する。
• データ強化、デバイアス化、知識境界の管理、モデル編集、リトリーバルの拡張、デコードの改善などを含む包括的な緩和戦略を概説する。
• 提案された分類学を先行調査と比較し、一貫性のある因果駆動の緩和を強調する。

実験結果

リサーチクエスチョン

• RQ1 LLM幻覚の主なカテゴリーは何で、それらは事実性と忠実性とどのように関連するか？
• RQ2 LLMsに幻覚を引き起こすデータ・訓練・推論の要因は何か？
• RQ3 幻覚はどのように検出・測定でき、どんなベンチマークが存在するか？
• RQ4 特定された根本原因に最も適切に対処する緩和戦略はどれか？

主な発見

• 著者は、LLM固有の幻覚現象を捉える明確なサブタイプを備えた二本柱の分類法（事実性と忠実性）を定義する。
• データ関連の原因には、欠陥のある情報源、知識の境界、データの不適切な活用が含まれ、事実性と偏りの問題を招く。
• 事訓練関連の原因は、事前訓練、アラインメント、目的関連要因など、幻覚を誘発したり緩和できなかったりする。
• 推論関連の原因は、デコードのランダム性、表現、および出力の忠実性に影響を与える文脈アテンションに焦点を当てる。
• 本調査は、事実性および忠実性の両方に対する検出手法とベンチマークの幅広い範囲を整理し、根本原因に対応する緩和戦略を論じる。