[논문 리뷰] ExDR: Explanation-driven Dynamic Retrieval Enhancement for Multimodal Fake News Detection

Guoxuan Ding, Yuqing Li외 4명|arXiv (Cornell University)|2026. 01. 22.

Misinformation and Its Impacts인용 수 0

한 줄 요약

ExDR은 모델이 생성한 설명을 활용하여 동적으로 검색을 트리거하고 대조적이고 엔티티로 풍부한 증거를 검색하여 다중모달 위조 뉴스 탐지를 개선합니다.

ABSTRACT

The rapid spread of multimodal fake news poses a serious societal threat, as its evolving nature and reliance on timely factual details challenge existing detection methods. Dynamic Retrieval-Augmented Generation provides a promising solution by triggering keyword-based retrieval and incorporating external knowledge, thus enabling both efficient and accurate evidence selection. However, it still faces challenges in addressing issues such as redundant retrieval, coarse similarity, and irrelevant evidence when applied to deceptive content. In this paper, we propose ExDR, an Explanation-driven Dynamic Retrieval-Augmented Generation framework for Multimodal Fake News Detection. Our framework systematically leverages model-generated explanations in both the retrieval triggering and evidence retrieval modules. It assesses triggering confidence from three complementary dimensions, constructs entity-aware indices by fusing deceptive entities, and retrieves contrastive evidence based on deception-specific features to challenge the initial claim and enhance the final prediction. Experiments on two benchmark datasets, AMG and MR2, demonstrate that ExDR consistently outperforms previous methods in retrieval triggering accuracy, retrieval quality, and overall detection performance, highlighting its effectiveness and generalization capability.

연구 동기 및 목표

• 진화하는 지식과 기만적 콘텐츠 속에서 다중모달 위조 뉴스의 견고한 탐지를 촉진하기 위한 목표.
• 다중모달 데이터에 맞춘 동적 Retrieval-Augmented Generation 프레임워크를 개발한다.
• 모델이 생성한 설명을 활용하여 검색 트리거 및 증거 검색을 안내한다.
• 엔티티 인지 인덱싱과 대조 증거로 검색 효율과 탐지 정확도를 향상시킨다.

제안 방법

• 세 가지 모델 중심 신뢰도 차원(label-level uncertainty, token-level support, sentence-level confidence)에 기반한 검색 트리거를 도입한다.
• 전역 탐색과 지역 정제를 포함하는 2단계 하이브드 검색으로 검색 임계값을 최적화한다.
• 시각적, 텍스트, 설명 도출 엔티티 특성을 융합하여 엔티티로 풍부해진 다중모달 하이브리드 인덱스를 구성한다.
• 설명으로부터 미세한 속임수 라벨을 추론하고 이 라벨에 의해 안내되는 대조 증거 검색(양수 및 음수)을 수행한다.
• 효율적인 유사도 검색을 위한 합성 피처의 FAISS 인덱스를 구축하고 대상 증거를 검색한다.
• 두 가지 새로운 지표(Retrieval Identification Rate 및 Retrieval Efficiency)를 사용해 AMG와 MR2 데이터셋에서 기준 모델과 비교 평가한다.

Figure 1 . Overview of our proposed ExDR framework. ExDR consists of two main components: (1) a retrieval triggering module that dynamically determines whether retrieval is necessary based on response analysis, and (2) an evidence retrieval module that retrieves targeted evidence, including both pos

실험 결과

연구 질문

• RQ1 다중모달 위조 뉴스 탐지기에서 검색은 언제 트리거되어야 하는가?
• RQ2 설명과 신뢰도 신호를 사용하여 효과적인 검색 질의를 어떻게 구성할 것인가?
• RQ3 의사결정을 가장 잘 돕기 위해 어떤 유형의 기만 샘플을 검색해야 하는가?
• RQ4 엔티티로 풍부하게 인덱싱하는 것이 검색 품질과 증거 관련성을 향상시키는가?
• RQ5 대조적이고 기만 인식 증거 검색이 최종 탐지 성능을 향상시킬 수 있는가?

주요 결과

• ExDR 트리거가 AMG 및 MR2에서 기준 모델보다 더 높은 Retrieval Identification Rate와 Retrieval Efficiency를 달성한다.
• 엔티티로 풍부한 다중모달 인덱싱이 증거 검색에 더 판별력 있는 단서를 제공하여 정확도와 강건성을 향상시킨다.
• 대조 증거 검색(양수 및 음수 샘플)이 성능을 더욱 향상시키며, 특히 일반 LVLM과 교차 도메인 MR2에서 두드러진다.
• End-to-end ExDR은 AMG에서 ACC와 F1에서 강력한 MFND 기준모델(MGCA 등)을 지속적으로 상회한다.
• 아블레이션 결과 모든 구성요소(다중 수준 신뢰도 트리거, 엔티티 인덱싱, 라벨 기반 대조 검색)가 성능에 의미 있게 기여한다.

Figure 2 . Case study illustrating the effectiveness of ExDR across three representative scenarios.