[논문 리뷰] Findings of Factify 2: Multimodal Fake News Detection

S Suryavardan, Shreyash Mishra외 10명|arXiv (Cornell University)|2023. 07. 19.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 논문은 AAAI 2023에서 개최된 Factify 2 공동 과제의 결과를 제시한다. 이 과제는 다중모odal 관계의 다섯 가지 클래스에 걸쳐, 사회적 미디어 주장에 대해 텍스트와 이미지 증거를 병행하여 검증하는 다중모달 가짜 뉴스 탐지 도전 과제이다. 최고의 모델은 텍스트에 DeBERTa, 시각에 SwinV2/CLIP를 사용하여 F1 스코어 81.82%를 달성하였으며, 다중모달 사실 확인 분야에서 최신 기술 수준의 성능을 보였다.

ABSTRACT

With social media usage growing exponentially in the past few years, fake news has also become extremely prevalent. The detrimental impact of fake news emphasizes the need for research focused on automating the detection of false information and verifying its accuracy. In this work, we present the outcome of the Factify 2 shared task, which provides a multi-modal fact verification and satire news dataset, as part of the DeFactify 2 workshop at AAAI'23. The data calls for a comparison based approach to the task by pairing social media claims with supporting documents, with both text and image, divided into 5 classes based on multi-modal relations. In the second iteration of this task we had over 60 participants and 9 final test-set submissions. The best performances came from the use of DeBERTa for text and Swinv2 and CLIP for image. The highest F1 score averaged for all five classes was 81.82%.

연구 동기 및 목표

• 텍스트 및 시각적 증거를 모두 활용하여 자동화된 다중모달 가짜 뉴스 탐지 시스템을 개발하고 평가하는 것.
• 공동 과제 프레임워크를 통해 소셜 미디어에서의 오락성 정보 확산 문제를 해결하는 것.
• 사실 확인 및 풍자 탐지에 활용할 수 있는 다섯 가지 유형의 다중모달 관계를 포함한 벤치마크 데이터셋을 제공하는 것.
• 다양한 다중모달 아키텍처의 성능을 비교하여 위조 또는 풍자적 주장 탐지 능력을 평가하는 것.

제안 방법

• 과제는 쌍으로 구성된 입력 형식을 사용한다: 소셜 미디어 주장이 텍스트와 이미지를 포함한 지원 문서와 매칭된다.
• 텍스트 특징은 자연어 이해를 위한 최신 기술 트랜스포머 모델인 DeBERTa를 사용해 인코딩한다.
• 이미지 특징은 시각-언어 이해를 위한 사전 훈련된 모델인 SwinV2와 CLIP를 사용해 추출한다.
• 다중모달 표현을 융합하여 주장이 지원 증거와의 관계에 따라 다섯 가지 카테고리 중 하나로 분류한다.
• 60명 이상의 참가자 중 9개의 최종 제출 결과가 포함된 공동 테스트 세트를 기반으로 모델을 훈련하고 평가한다.
• 프레임워크는 비교 기반 사실 확인을 강조하며, 다중모달 증거를 활용해 진술의 진실성을 평가하도록 요구한다.

실험 결과

연구 질문

• RQ1 텍스트와 이미지 증거가 모두 제공될 경우, 다중모달 모델의 가짜 뉴스 탐지 성능은 어떠한가?
• RQ2 다중모달 사실 확인 과제에서 서로 다른 시각 인코더(SwinV2, CLIP)의 성능은 어떻게 비교되는가?
• RQ3 DeBERTa가 사실 확인 맥락에서 텍스트 주장과 지원 문서를 얼마나 효과적으로 이해할 수 있는가?
• RQ4 다양한 주장-증거 관계에서 다중모달 융합 전략은 분류 정확도에 어떤 영향을 미치는가?
• RQ5 이 새로운 다중모달 가짜 뉴스 탐지 벤치마크에서 성능의 상한선은 무엇인가?

주요 결과

• 최고의 성능을 보인 모델은 다섯 가지 다중모달 관계 유형 전반에서 평균 F1 스코어 81.82%를 기록하였다.
• DeBERTa는 사실 확인 맥락에서 텍스트 주장과 지원 문서를 이해하는 데 뛰어난 성능을 보였다.
• SwinV2와 CLIP 모델은 강력한 시각적 표현을 제공하여 다중모달 융합 성능에 크게 기여하였다.
• 공동 과제는 60명 이상의 참가자를 유치하였으며, 최종 제출 9건을 기록하여 다중모달 사실 확인 분야의 높은 공동 참여도를 보였다.
• 데이터셋과 평가 프레임워크는 향후 다중모달 가짜 뉴스 탐지 분야의 연구를 위한 종합적인 벤치마크를 제공한다.