[論文レビュー] A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models

S. M Towhidul Islam Tonmoy, S M Mehedi Zaman+5 more|arXiv (Cornell University)|Jan 2, 2024

COVID-19 diagnosis using AI被引用数 109

ひとこと要約

この調査は、LLM の幻覚を緩和する over thirty-two 技術を網羅し、分類と洞察を提供して、今後の研究を指針とします。

ABSTRACT

As Large Language Models (LLMs) continue to advance in their ability to write human-like text, a key challenge remains around their tendency to hallucinate generating content that appears factual but is ungrounded. This issue of hallucination is arguably the biggest hindrance to safely deploying these powerful LLMs into real-world production systems that impact people's lives. The journey toward widespread adoption of LLMs in practical settings heavily relies on addressing and mitigating hallucinations. Unlike traditional AI systems focused on limited tasks, LLMs have been exposed to vast amounts of online text data during training. While this allows them to display impressive language fluency, it also means they are capable of extrapolating information from the biases in training data, misinterpreting ambiguous prompts, or modifying the information to align superficially with the input. This becomes hugely alarming when we rely on language generation capabilities for sensitive applications, such as summarizing medical records, financial analysis reports, etc. This paper presents a comprehensive survey of over 32 techniques developed to mitigate hallucination in LLMs. Notable among these are Retrieval Augmented Generation (Lewis et al, 2021), Knowledge Retrieval (Varshney et al,2023), CoNLI (Lei et al, 2023), and CoVe (Dhuliawala et al, 2023). Furthermore, we introduce a detailed taxonomy categorizing these methods based on various parameters, such as dataset utilization, common tasks, feedback mechanisms, and retriever types. This classification helps distinguish the diverse approaches specifically designed to tackle hallucination issues in LLMs. Additionally, we analyze the challenges and limitations inherent in these techniques, providing a solid foundation for future research in addressing hallucinations and related phenomena within the realm of LLMs.

研究の動機と目的

• LLM のさまざまなモデルとタスクにわたる幻覚緩和手法のスペクトルを特徴付ける。
• 情報検索、 prompting、モデル開発、および評価アプローチを整理する構造化された分類法を提供する。
• 現在の幻覚緩和アプローチの課題、制約、および今後の研究・デプロイの方向性を分析する。
• 出力の真実性、信頼性、安全性に関する実務的な考慮事項を強調する。

提案手法

• prompting、モデル開発、および評価を含む幻覚緩和技術の網羅的な分類法を構築する。
• retrieval-augmented generation、自己改良、プロンプト調整、知識グラフ、真実性ベースの損失、教師ありファインチューニングを含む技術を統合する。
• ファクト性とグラウンディングに影響を与えるエンドツーエンドのRAGシステムとデコーディング戦略を議論する。
• 調査結果に基づく notable systems and frameworks（例：RAG、D&Q、EVER、CoVe、CoNLI）と、それらが幻覚の低減に果たす役割を要約する。
• 将来の研究を導くためのデータセットの利用、フィードバック機構、およびリトリーバのタイプの横断的分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 LLMの幻覚を緩和する主要なカテゴリと技術は何か？
• RQ2 情報検索、 prompting、モデル開発、および評価戦略は効果と適用性の点でどのように比較されるか？
• RQ3 現在の幻覚緩和アプローチの主な制限と課題は何か、将来の作業に向けて有望な方向性は何か？
• RQ4 真実性とグラウンディングをさまざまなモダリティとタスクでどのように定量化し改善できるか？

主な発見

• 幻覚緩和技術の広範な分類法が提示され、プロンプト設計、エンドツーエンドの検索、自己確認、およびモデルアーキテクチャの変更が含まれる。
• Retrieval-Augmented Generation (RAG) および知識グラウンディング手法が、出力のグラウンディングに効果的な機構として繰り返し強調される。
• 自己検証およびフィードバックベースの戦略（例：EVER、CoVe、CoNLI、SC reasoning）は、タスク全般で幻覚の低減を示す。
• 知識グラフと真実性ベースの損失は事実的整合性の向上に寄与し、いくつかのアーキテクチャレベルの手法が提案されている。
• 調査はデータ品質、評価の課題、タスク・ドメイン特異的な堅牢な解決策の必要性といった制限を指摘する。