[논문 리뷰] VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias

Stefanos-Iordanis Papadopoulos, Christos Koutlis외 2명|arXiv (Cornell University)|2023. 04. 27.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 논문은 실제 세계 데이터를 사용하고 비대칭 다중모odal 가짜 정보를 제외하며 모ality 균형을 강제함으로써 단모态 편향을 완화하는 강력한 다중모달 가짜 정보 탐지 벤치마크인 VERITE를 소개한다. 또한, 교차모달 관계를 유지하면서 현실적으로 어려운 합성 훈련 데이터를 생성하는 방법 CHASMA를 제안하여 기준 모델 대비 VERITE에서 9.2%의 정확도 향상을 달성한다.

ABSTRACT

Multimedia content has become ubiquitous on social media platforms, leading to the rise of multimodal misinformation (MM) and the urgent need for effective strategies to detect and prevent its spread. In recent years, the challenge of multimodal misinformation detection (MMD) has garnered significant attention by researchers and has mainly involved the creation of annotated, weakly annotated, or synthetically generated training datasets, along with the development of various deep learning MMD models. However, the problem of unimodal bias has been overlooked, where specific patterns and biases in MMD benchmarks can result in biased or unimodal models outperforming their multimodal counterparts on an inherently multimodal task, making it difficult to assess progress. In this study, we systematically investigate and identify the presence of unimodal bias in widely used MMD benchmarks, namely VMU-Twitter and COSMOS. To address this issue, we introduce the “VERification of Image-TExt pairs” (VERITE) benchmark for MMD which incorporates real-world data, excludes “asymmetric multimodal misinformation” and utilizes “modality balancing”. We conduct an extensive comparative study with a transformer-based architecture that shows the ability of VERITE to effectively address unimodal bias, rendering it a robust evaluation framework for MMD. Furthermore, we introduce a new method—termed Crossmodal HArd Synthetic MisAlignment (CHASMA)—for generating realistic synthetic training data that preserve crossmodal relations between legitimate images and false human-written captions. By leveraging CHASMA in the training process, we observe consistent and notable improvements in predictive performance on VERITE; with a 9.2% increase in accuracy.

연구 동기 및 목표

• VMU-Twitter 및 COSMOS와 같은 기존 다중모달 가짜 정보 탐지(MMD) 벤치마크에서 단모달 편향을 식별하고 해결하는 것.
• 데이터셋 편향으로 인해 단모달 모델이 다중모달 모델을 앞서는 것을 방지할 수 있는 신뢰할 수 있고 강력한 MMD 평가 프레임워크를 개발하는 것.
• 이미지와 오해의 여지가 있는 캡션 간의 현실적인 교차모달 관계를 유지하는 합성 훈련 데이터를 생성하는 새로운 방법 CHASMA를 소개하는 것.
• 모달 균형 평가와 합성 데이터 생성이 실제 세계 벤치마크에서 다중모달 모델 성능을 크게 향상시킨다는 것을 입증하는 것.

제안 방법

• VERITE는 비대칭 다중모달 가짜 정보(한 모달리티가 지배하는 경우)를 제외한 실제 세계의 이미지-캡션 쌍을 사용하여 구축된다.
• 모달 균형은 각 이미지와 캡션이 한 번은 진실된 쌍, 한 번은 오해의 여지가 있는 쌍으로 각각 두 번 나타나도록 보장하여 모델이 양쪽 모달을 모두 고려하도록 유도한다.
• CHASMA는 사전 훈련된 교차모달 일치 모델을 활용하여 합법적인 이미지와 위조된 인간이 작성한 캡션 간에 어려운 현실적인 불일치를 생성함으로써 합성 훈련 데이터를 생성한다.
• 이 방법은 대규모 사전 훈련 모델을 사용하여 생성된 위조 캡션이 의미적으로 타당하고 이미지와 교차모달 일관성을 유지하도록 보장한다.
• 모델은 실제 데이터와 CHASMA가 생성한 합성 데이터의 조합을 사용하여 훈련되며, 다양한 데이터 조합의 성능을 비교하기 위한 분석 실험을 수행한다.
• 평가에는 트랜스포머 기반 아키텍처를 사용하며, 다중분류 정확도와 편향 분석을 통해 VERITE에서 성능을 측정한다.

Figure 1: Examples of multimodal misinformation (taken from VERITE) and asymmetric multimodal misinformation (taken from COSMOS benchmark).

실험 결과

연구 질문

• RQ1 VMU-Twitter 및 COSMOS와 같은 기존 MMD 벤치마크에서 단모달 편향이 얼마나 심한가, 그리고 이로 인해 모델 평가에 어떤 영향을 미치는가?
• RQ2 VERITE와 같이 모달 균형 평가를 제공하는 벤치마크가 단모달 모델이 다중모달 모델을 앞서는 것을 효과적으로 방지할 수 있는가?
• RQ3 CHASMA는 이미지와 오해의 여지가 있는 캡션 간의 현실적인 교차모달 관계를 유지하면서 다중모달 탐지 성능을 향상시키는 데 얼마나 효과적인가?
• RQ4 CHASMA가 생성한 데이터의 포함 여부가 실제 세계 벤치마크인 VERITE에서 단모달 편향을 줄이는 데 기여하는가?

주요 결과

• CHASMA가 생성한 데이터로 훈련할 경우 VERITE에서 다중분류 정확도가 52.1%에 도달하여 기준 모델인 CLIP-NESt + NC-t2t 대비 9.2% 향상되었다.
• CHASMA로 훈련한 모델은 그렇지 않은 모델보다 일관되게 높은 성능을 보였으며, CHASMA + NC-t2t는 48.7%의 정확도를 기록한 반면, CLIP-NESt + NC-t2t는 47.7%였다.
• CHASMA로 훈련한 모델에서 관찰된 텍스트 측 단모달 편향은 VERITE에서 나타나지 않았으며, 이는 VERITE가 평가 과정에서 이러한 편향을 효과적으로 완화함을 시사한다.
• VERITE의 모달 균형 전략은 각 이미지와 캡션이 진실된 쌍과 오해의 여지가 있는 쌍 모두에서 나타나도록 하여 모델이 한 모달리티에 의존하는 것을 효과적으로 방지한다.
• CHASMA의 성능 향상 효과는 $D(I,C)$ 및 $D^{-}(I;C)$와 같은 다양한 모델 변종에서 일관되게 관찰되어 그 강건성을 확인한다.
• VERITE는 단모달 모델이 다중모달 모델을 앞서는 것을 방지함으로써 신뢰할 수 있는 벤치마크임을 입증하였으며, 이는 이전의 벤치마크인 COSMOS 및 VMU-Twitter와는 다릅니다.

Figure 2: Data collection, filtering and refinement process for creating VERITE.