[論文レビュー] A Survey of Hallucination in Large Foundation Models

Vipula Rawte, Amit Sheth+1 more|arXiv (Cornell University)|Sep 12, 2023

Complex Systems and Time Series Analysis被引用数 94

ひとこと要約

テキスト、画像、動画、音声に跨る大規模基盤モデル（LFMs）における幻覚の包括的調査。幻覚のタイプ、評価、検出、緩和、データセット、今後の方向性を詳述する。

ABSTRACT

Hallucination in a foundation model (FM) refers to the generation of content that strays from factual reality or includes fabricated information. This survey paper provides an extensive overview of recent efforts that aim to identify, elucidate, and tackle the problem of hallucination, with a particular focus on ``Large'' Foundation Models (LFMs). The paper classifies various types of hallucination phenomena that are specific to LFMs and establishes evaluation criteria for assessing the extent of hallucination. It also examines existing strategies for mitigating hallucination in LFMs and discusses potential directions for future research in this area. Essentially, the paper offers a comprehensive examination of the challenges and solutions related to hallucination in LFMs.

研究の動機と目的

• LFMs における幻覚に関する既存研究を分類する。
• テキスト、画像、動画、音声の各モダリティにわたるLFMsを検討する。
• 検出手法、緩和戦略、タスク、データセット、評価指標を要約する。
• 今後の研究方向性とオープンソース資源を提案する。

提案手法

• LFMsをテキスト、画像、動画、音声の4モダリティに分類する。
• 幻覚に関する検出、緩和、タスク、データセット、評価指標をレビューする。
• モダリティ別の研究とデータセットを要約する（例：HaluEval、Med-HALT、M-HalDetect）。
• 緩和のための prompting、外部知識、 grounding、データ拡張アプローチを強調する。
• 自動評価とキュレーションされた知識源を含む今後の方向性を提案する。

Figure 2: The evolution of “hallucination” papers for Large Foundation Models (LFMs) from March 2023 to September 2023.

実験結果

リサーチクエスチョン

• RQ1 LFMsで観察される主な幻覚のタイプはモダリティ間でどう異なるか。
• RQ2 幻覚を減らすために提案される検出と緩和の戦略は何か。
• RQ3 テキスト、画像、動画、音声の幻覚を評価する際に用いられるデータセットと評価指標は何か。
• RQ4 信頼性の高い幻覚検出と緩和を進展させる将来の方向性は何か。
• RQ5 ドメイン特化型および多言語のLFMsは、幻覚の特性と対処においてどのように異なるか。

主な発見

• 本調査は幻覚タイプの分類学と、LFMsのクロスモーダル概要（text, image, video, audio）を提供する。
• モダリティ間で検出方法、緩和技術、データセット、評価指標を整理している。
• HaluEval、Med-HALT、HALO、M-HalDetect、Lp-MusicCaps などの著名なベンチマークとデータセットを強調している。
• promptingベース、知識 grounding、外部知識統合を緩和方向として議論している。
• 自動評価、知識キュレーション、倫理的配慮の将来の研究方向性を強調している。

Figure 3: An illustration of hallucination Luo et al. ( 2023 ) . Incorrect information is highlighted in Red .