[論文レビュー] Detecting and Preventing Hallucinations in Large Vision Language Models

Anisha Gunjal, Jihan Yin+1 more|arXiv (Cornell University)|Aug 11, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、視覚的質疑応答（VQA）の応答に対して16,000件の部分文レベルのアノテーションを有する、細粒度のマルチモーダル誤認知検出データセットM-HalDetectを紹介する。また、細粒度直接好み最適化（FDPO）とbest-of-nのリジェクトサンプリングを用いた報酬モデリングを提案し、InstructBLIPにおける誤認知率をそれぞれ41%および55%低減した。さらに、LLaVAおよびmPLUG-OWLに対しても一般化され、それぞれ15%および57%の低減を達成した。

ABSTRACT

Instruction tuned Large Vision Language Models (LVLMs) have significantly advanced in generalizing across a diverse set of multi-modal tasks, especially for Visual Question Answering (VQA). However, generating detailed responses that are visually grounded is still a challenging task for these models. We find that even the current state-of-the-art LVLMs (InstructBLIP) still contain a staggering 30 percent of the hallucinatory text in the form of non-existent objects, unfaithful descriptions, and inaccurate relationships. To address this, we introduce M-HalDetect, a (M)ultimodal (Hal)lucination (Detect)ion Dataset that can be used to train and benchmark models for hallucination detection and prevention. M-HalDetect consists of 16k fine-grained annotations on VQA examples, making it the first comprehensive multi-modal hallucination detection dataset for detailed image descriptions. Unlike previous work that only consider object hallucination, we additionally annotate both entity descriptions and relationships that are unfaithful. To demonstrate the potential of this dataset for hallucination prevention, we optimize InstructBLIP through our novel Fine-grained Direct Preference Optimization (FDPO). We also train fine-grained multi-modal reward models from InstructBLIP and evaluate their effectiveness with best-of-n rejection sampling. We perform human evaluation on both FDPO and rejection sampling, and find that they reduce hallucination rates in InstructBLIP by 41% and 55% respectively. We also find that our reward model generalizes to other multi-modal models, reducing hallucinations in LLaVA and mPLUG-OWL by 15% and 57% respectively, and has strong correlation with human evaluated accuracy scores.

研究の動機と目的

• 指示微調整された大規模ビジョン言語モデル（LVLM）における誤認知の継続的問題に取り組むこと、特に詳細な画像記述におけるものに焦点を当てる。
• オブジェクトレベルの誤りを超えて、不実な記述や関係性を含む、包括的で細粒度の誤認知アノテーション用データセットを構築すること。
• 新規データセットを用いて誤認知を低減する手法（FDPOおよび報酬モデリング）の開発と評価を行うこと。
• 報酬モデルの複数のLVLM（LLaVAおよびmPLUG-OWLを含む）への一般化を示すこと。
• 自動報酬モデルスコアと人間によるアノテート済みの誤認知正確性との間に強い相関関係を確立すること。

提案手法

• InstructBLIPのVQA応答に対して16,000件の細粒度アノテーションを有するM-HalDetectを構築し、部分文を「正確」「不正確」「分析」の3カテゴリに分類する。
• ペアワイズの好み比較ではなく、部分文ごとのアノテーションを用いるFDPO（細粒度直接好み最適化）を考案。これはDPOの変種である。
• M-HalDetectを用いて、文レベルおよび部分文レベルのマルチモーダル報酬モデルを訓練し、誤認知の可能性を評価する。
• 訓練済みの報酬モデルを用いてbest-of-nのリジェクトサンプリングを実行し、InstructBLIPからのより正確な生成を選択する。
• 人間による評価を用いてFDPOおよびリジェクトサンプリングの性能を評価し、InstructBLIP、LLaVA、mPLUG-OWLを含む複数のLVLMでの性能を比較する。
• 報酬モデルスコアと人間によるアノテート済みの誤認知正確性との相関を測定し、モデルが効果的な自動評価者としての信頼性を持つことを検証する。

Figure 1: Example Annotation from the M-HalDetect Dataset. The sub-sentences of text generated by multi-modal LM are tagged into categories: Accurate, Inaccurate , and Analysis .

実験結果

リサーチクエスチョン

• RQ1 部分文レベルの細粒度誤認知検出データセットは、LVLMにおける誤認知の検出と是正を改善できるか？
• RQ2 詳細なアノテーションを用いた場合、細粒度直接好み最適化（FDPO）は標準的なDPOを上回る誤認知低減効果を示すか？
• RQ3 M-HalDetectで訓練された報酬モデルは、InstructBLIP以外のLVLMに対しても誤認知をどれほど低減できるか？
• RQ4 自動報酬モデルスコアは人間によるアノテート済みの誤認知正確性とどの程度相関しているか？
• RQ5 報酬モデルを用いたリジェクトサンプリングは、異なるLVLMアーキテクチャに一般化され、誤認知率を効果的に低減できるか？

主な発見

• FDPOは、高温でサンプリングしても、InstructBLIPの誤認知率を41%低減した。
• 報酬モデルを用いたbest-of-64のリジェクトサンプリングにより、InstructBLIPの誤認知率は55%低減した。
• 同じ報酬モデルを用いて、best-of-16のサンプリングでLLaVAの誤認知率は15%、mPLUG-OWLの誤認知率は57%低減した。
• 報酬モデルスコアは人間によるアノテート済み正確性スコアと強い相関を示し、自動評価者としての有効性を裏付けた。
• FDPOは元のInstructBLIPの高温サンプリングを上回った。これは、細粒度の監視が生成の忠実性を向上させることを示している。
• 報酬モデルは異なるLVLMに効果的に一般化され、訓練済みモデルを超えた移行性を示した。

Figure 3: Confusion Matrix comparison between Binary and Ternary Classifiers. The right plot represents the binary classifier labels derived from the ternary classifier by merging the Accurate and Analysis classes.