[論文レビュー] Insights into Classifying and Mitigating LLMs' Hallucinations

Alessandro Bruno, Pier Luigi Mazzeo+3 more|arXiv (Cornell University)|Nov 14, 2023

Topic Modeling被引用数 8

ひとこと要約

この論文は主要なLLMタスク（翻訳、QA、対話、要約、知識グラフ、VQA）における幻覚のタイプを調査し、検出と緩和戦略を検討し、今後の方向性を示す。

ABSTRACT

The widespread adoption of large language models (LLMs) across diverse AI applications is proof of the outstanding achievements obtained in several tasks, such as text mining, text generation, and question answering. However, LLMs are not exempt from drawbacks. One of the most concerning aspects regards the emerging problematic phenomena known as "Hallucinations". They manifest in text generation systems, particularly in question-answering systems reliant on LLMs, potentially resulting in false or misleading information propagation. This paper delves into the underlying causes of AI hallucination and elucidates its significance in artificial intelligence. In particular, Hallucination classification is tackled over several tasks (Machine Translation, Question and Answer, Dialog Systems, Summarisation Systems, Knowledge Graph with LLMs, and Visual Question Answer). Additionally, we explore potential strategies to mitigate hallucinations, aiming to enhance the overall reliability of LLMs. Our research addresses this critical issue within the HeReFaNMi (Health-Related Fake News Mitigation) project, generously supported by NGI Search, dedicated to combating Health-Related Fake News dissemination on the Internet. This endeavour represents a concerted effort to safeguard the integrity of information dissemination in an age of evolving AI technologies.

研究の動機と目的

• LLMsが異なるタスクや領域で幻覚を起こす理由の理解を促進する。
• 下流タスクごとに幻覚タイプを分類し、統一的なタクソノミーを構築する。
• 検出手法（灰箱／黒箱）と緩和アプローチをレビューする。
• HeReFaNMi文脈内での制限を議論し、将来の研究方向性を提示する。

提案手法

• タスク間の幻覚現象をカタログ化するための文献調査を実施する。
• 翻訳、Q&A、対話、要約、KG、VQAごとに幻覚タイプの分類（タスク別タクソノミー）を作成する。
• 幻覚緩和技術の長所・短所を評価する（ファインチューニング、KG統合、メモリ拡張、プロンプト、予防的戦略）。
• intrinsic不確実性指標や外部知識チェックを含む検出アプローチを要約する。
• ゼロリソースおよびマルチモーダル設定の将来の研究方向性とベンチマークのニーズをまとめる。

実験結果

リサーチクエスチョン

• RQ1 主要なLLM下流タスクで観察される幻覚タイプは何か。
• RQ2 灰箱・黒箱設定で幻覚を効果的に検出するにはどうすればよいか。
• RQ3 どの緩和戦略が存在し、それらのトレードオフは何か。
• RQ4 現在のアプローチの限界と将来の有望な方向性は何か。
• RQ5 これらの洞察はヘルス関連の偽ニュース緩和文脈（HeReFaNMi）にどう適用されるか。

主な発見

• 幻覚タイプは機械翻訳、Q&A、対話、要約、LLMを用いたKG、VQAにわたってカタログ化されている。
• 検出アプローチにはintrinsic不確実性指標、外部知識チェック、自己評価技術が含まれ、灰箱と黒箱の区別がある。
• 緩和手法はファインチューニング、知識グラフ、メモリ拡張、文脈プロンプト、予防的戦略に分類され、それぞれトレードオフがある。
• instructing the model to rectify hallucinations can reduce errors, e.g., a reported 33% reduction in GPT-3.5 hallucinations by Varshney et al.
• 論文はゼロリソースとマルチモーダルの課題を強調し、タスク特異的検出とベンチマークの必要性を訴える。