[論文レビュー] A Survey on Hallucination in Large Vision-Language Models

Hanchao Liu, Wenyuan Xue+7 more|arXiv (Cornell University)|Feb 1, 2024

Brain Tumor Detection and Classification被引用数 20

ひとこと要約

この調査は LVLM の幻覚を定義し、それらの症状を整理し、評価ベンチマークと軽減手法をレビューし、原因と将来の方向性を論じる。

ABSTRACT

Recent development of Large Vision-Language Models (LVLMs) has attracted growing attention within the AI landscape for its practical implementation potential. However, ``hallucination'', or more specifically, the misalignment between factual visual content and corresponding textual generation, poses a significant challenge of utilizing LVLMs. In this comprehensive survey, we dissect LVLM-related hallucinations in an attempt to establish an overview and facilitate future mitigation. Our scrutiny starts with a clarification of the concept of hallucinations in LVLMs, presenting a variety of hallucination symptoms and highlighting the unique challenges inherent in LVLM hallucinations. Subsequently, we outline the benchmarks and methodologies tailored specifically for evaluating hallucinations unique to LVLMs. Additionally, we delve into an investigation of the root causes of these hallucinations, encompassing insights from the training data and model components. We also critically review existing methods for mitigating hallucinations. The open questions and future directions pertaining to hallucinations within LVLMs are discussed to conclude this survey.

研究の動機と目的

• LVLMにおける幻覚の概念を明確にし、症状（判断と記述）と意味的側面（対象、属性、関係）を分類する。
• LVLM特有の非幻覚生成と幻覚識別の評価手法とベンチマークをレビューする。
• データ、ビジョンエンコーダ、モダリティ整合、LLMの構成要素から根本原因を分析し、軽減の指針を示す。
• データ、ビジョン、接続モジュール、デコーディング、ポスト処理にわたる既存の軽減手法を調査する。
• 信頼性の高いLVLMを推進するための未解決の課題と今後の方向性を討議する。

提案手法

• LVLMにおける幻覚を定義し、症状の分類（対象、属性、関係；判断 vs 記述）を提示する。
• 非幻覚生成と幻覚識別に評価手法を分類し、識別ベンチマークと生成ベンチマークを対比する。
• データ品質、ビジョンエンコーダの制約、モダリティ整合、LLM由来の要因から原因を要約する。
• データキュレーション、ビジョンエンコーダのスケーリング、接続モジュールの改善、デコードの最適化、ポスト処理を含む軽減戦略を検討する。

実験結果

リサーチクエスチョン

• RQ1 LVLMにおける幻覚とは何か、そしてそれを体系的に分類するにはどうするか？
• RQ2 LVLMの幻覚はどのように評価され、識別と生成タスクのベンチマークは何があるか？
• RQ3 LVLMの幻覚を引き起こす主要なデータ・モデル・統合要因は何か？
• RQ4 データ、アーキテクチャ、デコードにまたがる幻覚対策は何が有効か？

主な発見

• LVLMにおける幻覚には、単純なオブジェクトの存在を超える、オブジェクト、属性、関係のエラーが含まれる。
• LVLM幻覚の評価手法は、非幻覚生成と幻覚識別に分割され、対応する識別的ベンチマークと生成ベンチマークが存在する。
• さまざまな規模と指標を持つベンチマークが存在し、識別タスクではオブジェクトレベルの評価に焦点が当てられ、生成タスクでは幻覚のカテゴリがより広く扱われていることを強調する。
• データ偏りと注釈の問題、ビジョンエンコーダの制約、モダリティ整合のギャップ、コンテキスト注意やデコードのランダム性など、LLM関連要因からLVLM幻覚の原因が生じる。
• データ最適化、ビジョンエンコーダのスケーリングと知覚向上、接続モジュールの改善、デコードレベルの調整、ポスト処理手法に及ぶ軽減戦略。
• 幻覚を減らすために、より豊富な監督、マルチモーダル統合、エージェントとしてのLVLM、解釈性に焦点を当てた研究の必要性が認識されている。