[論文レビュー] ExDR: Explanation-driven Dynamic Retrieval Enhancement for Multimodal Fake News Detection

Guoxuan Ding, Yuqing Li+4 more|arXiv (Cornell University)|Jan 22, 2026

Misinformation and Its Impacts被引用数 0

ひとこと要約

ExDR はモデル生成の説明を活用して動的に検索をトリガーし、対比的でエンティティ強化された証拠を取得することで、マルチモーダル偽情報検出を改善する。

ABSTRACT

The rapid spread of multimodal fake news poses a serious societal threat, as its evolving nature and reliance on timely factual details challenge existing detection methods. Dynamic Retrieval-Augmented Generation provides a promising solution by triggering keyword-based retrieval and incorporating external knowledge, thus enabling both efficient and accurate evidence selection. However, it still faces challenges in addressing issues such as redundant retrieval, coarse similarity, and irrelevant evidence when applied to deceptive content. In this paper, we propose ExDR, an Explanation-driven Dynamic Retrieval-Augmented Generation framework for Multimodal Fake News Detection. Our framework systematically leverages model-generated explanations in both the retrieval triggering and evidence retrieval modules. It assesses triggering confidence from three complementary dimensions, constructs entity-aware indices by fusing deceptive entities, and retrieves contrastive evidence based on deception-specific features to challenge the initial claim and enhance the final prediction. Experiments on two benchmark datasets, AMG and MR2, demonstrate that ExDR consistently outperforms previous methods in retrieval triggering accuracy, retrieval quality, and overall detection performance, highlighting its effectiveness and generalization capability.

研究の動機と目的

• evolving knowledge and deceptive content の中で、マルチモーダル偽情報の堅牢な検出を動機づける。
• マルチモーダルデータに適した動的 Retrieval-Augmented Generation フレームワークを開発する。
• 検索のトリガーと証拠取得の両方をモデル生成の説明に導く。
• エンティティ認識型インデックス作成と対比的証拠によって検索効率と検出精度を向上させる。

提案手法

• 3つのモデル中心の信頼度次元に基づく検索トリガーを導入する：ラベルレベルの不確実性、トークンレベルのサポート、文レベルの信頼度。
• グローバル探索とローカル精練の2段階ハイブリッド検索で検索閾値を最適化する。
• 視覚情報、テキスト、および説明 Derived のエンティティ特徴を融合してエンティティ強化マルチモーダルハイブリッドインデックスを構築する。
• 説明から細粒度の欺瞞ラベルを推定し、これらのラベルに導かれたポジティブおよびネガティブの対照的証拠取得を行う。
• 統合特徴上の FAISS インデックスを構築して効率的な類似検索を実行し、ターゲット証拠を取得する。
• 2つの新しい指標（Retrieval Identification Rate と Retrieval Efficiency）を用いて AMG および MR2 データセットでベースラインと比較評価する。

Figure 1 . Overview of our proposed ExDR framework. ExDR consists of two main components: (1) a retrieval triggering module that dynamically determines whether retrieval is necessary based on response analysis, and (2) an evidence retrieval module that retrieves targeted evidence, including both pos

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル偽情報検出器で検索をいつトリガーすべきか？
• RQ2 説明と信頼信号を用いて効果的な検索クエリを構築するには？
• RQ3 意思決定を最も支援するべき欺瞞サンプルの種類は何か？
• RQ4 エンティティ強化インデックスは検索品質と証拠の関連性を向上させるか？
• RQ5 対照的で欺瞞認識型の証拠取得は最終的な検出性能を向上させるか？

主な発見

• ExDR のトリガーは AMG および MR2 で Baseline より高い Retrieval Identification Rate および Retrieval Efficiency を達成。
• エンティティ強化型マルチモーダルインデックスは証拠取得の識別可能性を高め、精度と頑健性を向上。
• 対照的証拠取得（ポジティブおよびネガティブサンプル）は特に素の LVLMs やドメイン横断 MR2 で性能をさらに改善。
• End-to-end の ExDR は AMG における ACC と F1 で強力な MFND ベースライン（例：MGCA）を一貫して上回る。
• アブレーションにより、複数レベルの信頼度トリガー、エンティティインデックス、ラベル情報付き対照的取得のすべてのコンポーネントが性能に有意に寄与することが示された。

Figure 2 . Case study illustrating the effectiveness of ExDR across three representative scenarios.