[論文レビュー] OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation

Qidong Huang, Xiaoyi Dong+7 more|arXiv (Cornell University)|Nov 29, 2023

Big Data and Digital Economy被引用数 5

ひとこと要約

OPERAは、多モーダル大規模言語モデル（MLLM）における幻覚を低減するための新規デコード手法であり、過信ペナルティと後悔割り当て戦略を導入することで実現される。この手法は、生成中に要約トークンに過度に依存する注意パターンを検出し、ペナルティを課す。また、そのようなパターンが検出された場合にはロールバックと候補トークンの再割り当てを可能にし、追加のデータ、知識、または訓練を必要とせずに顕著な幻覚低減を達成する。

ABSTRACT

Hallucination, posed as a pervasive challenge of multi-modal large language models (MLLMs), has significantly impeded their real-world usage that demands precise judgment. Existing methods mitigate this issue with either training with specific designed data or inferencing with external knowledge from other sources, incurring inevitable additional costs. In this paper, we present OPERA, a novel MLLM decoding method grounded in an Over-trust Penalty and a Retrospection-Allocation strategy, serving as a nearly free lunch to alleviate the hallucination issue without additional data, knowledge, or training. Our approach begins with an interesting observation that, most hallucinations are closely tied to the knowledge aggregation patterns manifested in the self-attention matrix, i.e., MLLMs tend to generate new tokens by focusing on a few summary tokens, but not all the previous tokens. Such partial over-trust inclination results in the neglecting of image tokens and describes the image content with hallucination. Based on the observation, OPERA introduces a penalty term on the model logits during the beam-search decoding to mitigate the over-trust issue, along with a rollback strategy that retrospects the presence of summary tokens in the previously generated tokens, and re-allocate the token selection if necessary. With extensive experiments, OPERA shows significant hallucination-mitigating performance on different MLLMs and metrics, proving its effectiveness and generality. Our code is available at: https://github.com/shikiw/OPERA.

研究の動機と目的

• 自動運転などの実世界の応用分野における信頼性を損なう、多モーダルLLM（MLLM）における広範な幻覚問題に対処すること。
• 幻覚が自己注意行列における知識集約パターンと強く相関しており、モデルが画像トークンを無視して少数の要約トークンに過度に依存していることを見出すこと。
• 追加の訓練データ、外部知識、またはモデルの微調整を必要とせず、推論中に幻覚を緩和する手法を開発すること。
• 有害な注意パターンを検出し、候補トークンの動的再割り当てを可能にするデコード戦略を設計すること。

提案手法

• 自己注意マップ内の局所ウィンドウから計算される過信ペナルティ項を導入し、要約トークンへの列方向の注意強度を測定することで、少数の前処理トークンへの過度な依存を検出する。
• ビームサーチデコードにペナルティを組み込み、強い過信パターンを示す候補トークンのロジットスコアを低下させることで、その選択確率を低下させる。
• 最大ウィンドウ内ペナルティスコアの重複率がしきい値を超えた場合に、要約トークンに戻ってロールバックし、再選択を行う後悔割り当てメカニズムを実装する。
• スライディングウィンドウ内の注意マップにおいて、列方向のメトリクスを用いて知識集約の強度を定量化し、幻覚発生と関連するパターンに焦点を当てる。
• モデル重みの変更なしにビームサーチデコード中に適用可能であり、既存のMLLMに即座に統合可能なプラグアンドプレイな設計である。
• 生成された記述の類似性と詳細度スコアを人間の基準に近づけるために、GPT-4Vをジャッジモデルとして用い、幻覚低減の評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 MLLMにおける幻覚は、自己注意行列における特定の知識集約パターンとどの程度相関しているか？
• RQ2 追加の訓練や外部知識なしに、注意に基づくペナルティ機構がデコード段階で幻覚を効果的に低減できるか？
• RQ3 過信パターンが検出された際に、候補トークンの動的再選択を可能にする後悔割り当て戦略は、事実の整合性を向上させることができるか？
• RQ4 OPERAは、多様なMLLMおよび指示タイプ、特に長文生成においてどの程度効果を発揮するか？
• RQ5 繰り返し現象に対してもOPERAは効果を発揮するか？これは幻覚と類似した注意パターンを共有しているため。

主な発見

• 幻覚は自己注意行列における列方向の注意パターンと強く相関しており、幻覚的内容とそのパターンが同時に発生する割合は80%〜95%に達する。
• LLaVA-1.5-7B、InstructBLIP-7B、Shikra-7Bを含む複数のMLLMにおいて、OPERAは正確性と詳細度の両方の指標で一貫した性能向上を示した。
• GPT-4Vベースの評価において顕著な改善が得られ、整合性と詳細度の両スコアが向上し、事実誤認の低減効果が明確に示された。
• 長文シーケンスにおいて特に効果的であり、知識集約パターンが顕在化した後、幻覚が生じやすくなる状況で顕著な改善を示した。短い回答（10トークン未満）では、パターン検出のヒステリシスの影響でわずかな向上にとどまる。
• 繰り返し現象に対しても効果を発揮し、繰り返し文における周期的な注意パターンが後悔と再割り当てを引き起こし、多くの場合、早期のEOSトークン選択に繋がることが観察された。
• 失敗事例の主な原因は、強いモデルバイアス（例：‘road’ → ‘cars’）や弱い視覚的認識（例：低解像度または形状が類似した物体）であり、これらは本手法の範囲外のモデルの本質的限界に起因している。