[논문 리뷰] FakeSV: A Multimodal Benchmark with Rich Social Context for Fake News Detection on Short Video Platforms

Peng Qi, Yuyan Bu외 6명|arXiv (Cornell University)|2022. 11. 20.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 논문은 뉴스 콘텐츠, 사용자 댓글, 발행자 프로필을 통합한 가짜 뉴스 탐지용으로서, 가장 큰 중국어 단편 영상 벤치마크인 FakeSV를 소개한다. 공통 주의력과 자기 주의력을 활용하여 다중 모odal 콘텐츠 및 사회적 맥락 특징을 융합하는 다중 모달 모델인 SV-FEND을 제안하여 시계열 분할 평가에서 81.05%의 정확도로 최신 기술 수준을 달성한다.

ABSTRACT

Short video platforms have become an important channel for news sharing, but also a new breeding ground for fake news. To mitigate this problem, research of fake news video detection has recently received a lot of attention. Existing works face two roadblocks: the scarcity of comprehensive and largescale datasets and insufficient utilization of multimodal information. Therefore, in this paper, we construct the largest Chinese short video dataset about fake news named FakeSV, which includes news content, user comments, and publisher profiles simultaneously. To understand the characteristics of fake news videos, we conduct exploratory analysis of FakeSV from different perspectives. Moreover, we provide a new multimodal detection model named SV-FEND, which exploits the cross-modal correlations to select the most informative features and utilizes the social context information for detection. Extensive experiments evaluate the superiority of the proposed method and provide detailed comparisons of different methods and modalities for future works.

연구 동기 및 목표

• 단편 영상 플랫폼에서의 가짜 뉴스 탐지에 대한 대규모이고 종합적인 데이터셋 부족 문제를 해결하기 위해.
• 뉴스 콘텐츠, 사용자 댓글, 발행자 프로필 등 다중 모달 콘텐츠 및 사회적 맥락의 역할이 가짜 뉴스 영상와 진짜 뉴스 영상 간 구분에 어떻게 기여하는지 탐구하기 위해.
• 이질적인 정보를 효과적으로 융합하여 향상된 가짜 뉴스 탐지 성능을 달성하는 견고한 다중 모달 탐지 모델을 개발하기 위해.
• 가짜 뉴스 영상 탐지 분야에서 공정한 평가 및 향후 연구를 위한 기준을 제공하기 위해.

제안 방법

• 영상 콘텐츠, 사용자 댓글, 발행자 프로필를 포함한 대규모 중국어 가짜 뉴스 단편 영상 데이터셋인 FakeSV를 구축한다.
• 텍스트, 음성, 시각 모달 간의 가장 정보적인 특징을 식별함으로써 다중 모달 표현을 향상시키기 위해 공통 주의력 메커니즘을 활용한다.
• 사용자 댓글 및 사용자 프로필 등의 사회적 맥락 특징을 다중 모달 콘텐츠 표현과 융합하기 위해 자기 주의력을 사용한다.
• 콘텐츠 및 사회적 맥락을 동시에 모델링하여 향상된 탐지 성능을 달성하기 위해 통합된 다중 모달 프레임워크인 SV-FEND를 설계한다.
• 모델의 일반화 능력과 향후 가짜 뉴스 탐지에 대한 강건성을 평가하기 위해 시계열 및 이벤트 기반 데이터 분할을 적용한다.

실험 결과

연구 질문

• RQ1 텍스트, 음성, 영상 등의 다중 모달 신호와 댓글, 사용자 프로필 등의 사회적 맥락은 단편 영상 플랫폼에서 가짜 뉴스 탐지에 어떻게 기여하는가?
• RQ2 다양한 모달과 사회적 신호 중에서 가짜 뉴스 영상 식별에 있어 상대적인 중요도는 어떠한가?
• RQ3 콘텐츠와 사회적 맥락을 융합하는 통합 다중 모달 모델이 단일 모달 또는 부분적 다중 모달 기반 베이스라인을 초월할 수 있는가?
• RQ4 제안된 모델은 미래의 새로운 가짜 뉴스 이벤트에 대해 얼마나 일반화 가능한가?

주요 결과

• SV-FEND는 시계열 분할에서 81.05%의 정확도를 기록하여 기존의 모든 방법, 포함 SOTA 기준선을 능가한다.
• SV-FEND의 모든 모달이 성능 향상에 기여하며, 뉴스 콘텐츠가 사회적 맥락보다 더 효과적인 것으로 나타났다.
• 제목과 원문 텍스트 사이, 키프레임과 영상 클립 사이에 서로 보완적인 정보가 존재한다.
• 댓글은 탐지에 가장 낮은 기여를 하며, 이는 데이터셋 내에서의 데이터 희소성 때문일 가능성이 높다.
• 모델은 이벤트 분할보다 시계열 분할에서 더 뛰어난 성능을 보이며, 장기간 지속되는 가짜 뉴스 이벤트가 데이터에 포함되어 있어 미래 이벤트에 대한 일반화 능력이 뛰어나다는 것을 시사한다.
• 사례 연구 결과, SV-FEND는 변조된 영상을 성공적으로 탐지하지만, 맥락적으로 오해의 소지가 있는 콘텐츠에는 어려움을 겪는 것으로 나타났으며, 이는 사실 확인 통합의 필요성을 강조한다.