[論文レビュー] Beyond Hallucinations: Enhancing LVLMs through Hallucination-Aware Direct Preference Optimization

Zhiyuan Zhao, Bin Wang+4 more|arXiv (Cornell University)|Nov 28, 2023

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本稿では、ペaired（ポジティブ、ネガティブ）画像・テキスト応答から学習することで、事実に反する記述を避けた応答を好むように学習する、新しい手法であるHallucination-Aware Direct Preference Optimization（HA-DPO）を提案する。HA-DPOは幻覚を顕著に低減し、MiniGPT-4のPOPE正答率を51.13%から86.13%、MMEスコアを932.00から1326.46に向上させる。また、幻覚に気づいた応答ペアの小規模で高品質なデータセットを用いた効率的な好み学習により、一般化性能を向上させる。

ABSTRACT

Multimodal large language models have made significant advancements in recent years, yet they still suffer from a common issue known as the "hallucination problem", in which the models generate textual descriptions that inaccurately depict or entirely fabricate content from associated images. This paper introduces a novel solution, Hallucination-Aware Direct Preference Optimization (HA-DPO), which reframes the hallucination problem as a preference selection task. The model is trained to favor the non-hallucinating response when presented with two responses of the same image (one accurate and one hallucinatory). Furthermore, this paper proposes an efficient pipeline for constructing positive~(non-hallucinatory) and negative~(hallucinatory) sample pairs, ensuring a high-quality, style-consistent dataset for robust preference learning. When applied to three mainstream multimodal models, HA-DPO significantly reduced hallucination issues and amplified the models' generalization capabilities. Notably, the MiniGPT-4 model, when enhanced with HA-DPO, demonstrated a substantial improvement: POPE accuracy rose from 51.13% to 86.13% (an absolute improvement of 35%), and the MME score surged from 932.00 to 1326.46 (a relative improvement of 42.32%). The codes, models, and datasets are made accessible at https://opendatalab.github.io/HA-DPO.

研究の動機と目的

• 大規模視覚言語モデル（LVLM）において、画像の事実と異なる記述を生成するという、持続的な幻覚問題に対処すること。
• 教師あり微調整における高いデータ・アノテーションコストや、後処理による補正手法に依存する問題を克服するため、幻覚低減を好み学習問題として再定式化すること。
• 大量のデータや外部ツールを必要とせず、スケーラブルで効率的かつ効果的なトレーニングパイプラインを構築し、モデルの一般化能力を高めつつ幻覚を最小限に抑えること。
• 事前に定義されたカテゴリに依存しない、細粒度の幻覚測定を可能にする新しい包括的評価指標、文単位幻覚率（SHR）を導入すること。

提案手法

• 同じ画像に対して2つの応答が与えられた際、幻覚のない応答を幻覚のある応答よりも好むように学習する直接好み最適化（DPO）タスクとして幻覚低減を再定式化する。
• スタイルが一貫したポジティブ（幻覚なし）およびネガティブ（幻覚あり）の応答ペアを生成するデータ構築パイプラインを提案し、トレーニングの安定性とモデルの整合性を確保する。
• ポリシー・モデルが参照モデルの幻覚なし出力に対する好みに一致するように最適化する好み損失関数を適用し、強化学習への依存を最小限に抑える。
• ポリシー更新と参照モデルの整合性のバランスを取るために、温度スケーリングを施した交差エントロピー損失を組み込んだ変更されたDPO目的関数を採用する。
• 人間のフィードバックと自動フィルタリングのプロセスを統合し、高品質で多様性に富み、現実的である幻覚ネガティブペアをトレーニング用に確保する。
• 事前に定義されたカテゴリに依存しない、文単位での幻覚を定量的に評価できる新しいベンチマークとして、文単位幻覚率（SHR）を導入する。

実験結果

リサーチクエスチョン

• RQ1 幻覚を生成タスクや後処理タスクとして扱うのではなく、好み学習問題として扱うことで、視覚言語モデルにおける幻覚を効果的に低減できるか？
• RQ2 巨額の人的アノテーションデータを必要とせず、高品質でスタイルが一貫したポジティブおよびネガティブな応答ペアを効率的に構築する方法は何か？
• RQ3 HA-DPOは、大量のトレーニングデータを用いない場合、教師あり微調整や後処理による補正手法と比較して、どの程度幻覚低減に優れているか？
• RQ4 HA-DPOによる幻覚の低減は、LVLMの一般的なマルチモodal推論および認識能力に測定可能な改善をもたらすか？
• RQ5 提案された文単位幻覚率（SHR）指標は、多様な画像記述において、細粒度かつ包括的な幻覚パターンをどの程度的確に捉えられるか？

主な発見

• HA-DPOは、SHRベンチマークにおいてMiniGPT-4の幻覚率を47.3%から44.4%に3.0ポイント低下させ、幻覚を減少させた。
• HA-DPO微調整後、MiniGPT-4のPOPE正答率は51.13%から86.13%に上昇し、35.0ポイントの絶対的向上を達成した。
• LLaVA-1.5はHA-DPO微調整後、POPEベンチマークで90.25%のF1スコアを達成し、他の最先端手法を上回った。
• MiniGPT-4のMMEスコアは932.00から1326.46に上昇し、相対的に42.32%の改善を示し、一般化されたマルチモーダル能力の向上を示した。
• InstructBLIPはHA-DPO処理後、MMEのPerceptionスコアで71.32ポイント上昇し、複数のモデルで一貫した性能向上を示した。
• HA-DPOは、LLaVA-RLHF（160K）やLRV（400K）と比較してはるかに少ない2,000枚の画像と16,000件の応答ペア（2,000 images and 16,000 response pairs）で、POPEおよびMME両ベンチマークで最先端の結果を達成した。