[논문 리뷰] False News Detection on Social Media

Juan Cao, Qiang Sheng외 4명|arXiv (Cornell University)|2019. 08. 28.

Misinformation and Its Impacts참고 문헌 25인용 수 10

한 줄 요약

이 논문은 新浪 Weibo에서 다중 모odal 가짜 뉴스 탐지 경쟁을 소개하며, 새로 공개된 MCG-FNeWS 데이터셋을 사용해 텍스트, 이미지, 다중 모달 탐지의 세 가지 하위 과제를 제안한다. 초기 융합(early fusion)이 텍스트 및 이미지 특징을 융합할 때 가장 높은 F1 점수(0.875)를 기록하여 개별 모odal 모델과 후기 융합보다 뛰어나며, 실시간 가짜 뉴스 탐지에서 다중 모달 통합의 효과성을 입증한다.

ABSTRACT

Social media has become a major information platform where people consume and share news. However, it has also enabled the wide dissemination of false news, i.e., news posts published on social media that are verifiably false, causing significant negative effects on society. In order to help prevent further propagation of false news on social media, we set up this competition to motivate the development of automated real-time false news detection approaches. Specifically, this competition includes three sub-tasks: false-news text detection, false-news image detection and false-news multi-modal detetcion, which aims to motivate participants to further explore the efficiency of multiple modalities in detecting false news and reasonable fusion approaches of multi-modal contents. To better support this competition, we also construct and publicize a multi-modal data repository about False News on Weibo Social platform(MCG-FNeWS}) to help evaluate the performance of different approaches from participants.

연구 동기 및 목표

• 소셜 미디어에서 빠르게 퍼지는 가짜 뉴스에 대한 실시간 탐지의 급박한 필요성을 해결하기 위해.
• 가짜 뉴스와 진짜 뉴스를 구분하는 데 있어 문장적, 시각적, 다중 모달 특징의 효과성을 탐색하기 위해.
• 자동화된 가짜 뉴스 탐지 분야의 연구를 가속화하기 위해 기준 데이터셋과 경쟁 프레임워크를 제공하기 위해.
• 향상된 탐지 성능을 위해 외부 지식(예: 반박 자료 저장소)의 통합을 장려하기 위해.
• 다양한 모달 간 융합 전략의 평가 및 비교를 통해 탐지 정확도를 향상시키기 위해.

제안 방법

• 가짜 뉴스 텍스트 탐지, 이미지 탐지, 다중 모달 탐지의 세 가지 하위 과제로 구성된 경쟁 프레임워크를 제안한다.
• 균형 잡힌 가짜 및 진짜 뉴스를 포함한 10,000건 이상의 Weibo 게시글로 구성된 대규모 다중 모달 데이터셋인 MCG-FNeWS를 구축한다. 데이터에는 텍스트, 이미지, 게시자 프로필이 포함된다.
• 텍스트 모달에 대해서는 사전 학습된 BERT, 이미지 모달에 대해서는 VGG19 모델을 특징 추출기로 활용한다.
• 다중 모달 통합을 위해 초기 융합(모달 임베딩의 연결)과 후기 융합(예측의 집계)을 적용한다.
• 뉴런 수준에서 다중 모달 상호작용을 학습하기 위해 주의 기반 융합 모델(attRNN)을 도입한다.
• 정부 및 신뢰할 수 있는 출처에서 온 37,877건의 반박 자료를 포함한 반박 저장소를 제공하여 지식 증강 탐지 지원을 제공한다.

실험 결과

연구 질문

• RQ1 소셜 미디어에서 텍스트 특징만으로 가짜 뉴스 탐지에 얼마나 효과적인가?
• RQ2 수정되거나 오해의 소지가 있는 이미지와 같은 시각 콘텐츠는 얼마나 가짜 뉴스를 신호로 삼을 수 있는가?
• RQ3 텍스트 및 시각적 특징을 최적의 방식으로 융합하여 가짜 뉴스 탐지 성능을 향상시킬 수 있는가?
• RQ4 사실 확인 반박 자료와 같은 외부 지식은 자동 탐지 시스템의 정확도를 어떻게 향상시킬 수 있는가?
• RQ5 실시간 가짜 뉴스 탐지에서 다중 모달 융합 전략은 단일 모달 접근 방식을 능가할 수 있는가?

주요 결과

• 초기 융합 베이스라인은 다중 모달 하위 과제에서 F1 점수 0.875를 기록하여 후기 융합(F1: 0.836)과 attRNN(F1: 0.845)을 모두 앞서며 가장 높은 성능을 보였다.
• BERT 기반 텍스트 모델링은 F1 점수 0.854를 기록하여 언어적 신호를 활용한 가짜 뉴스 탐지에서 뛰어난 성능을 보였다.
• 사전 학습된 VGG19는 F1 점수 0.671을 기록했고, 미세조정된 VGG19는 0.687로 향상되어 시각적 특징에서의 미세조정의 가치를 입증했다.
• 시각적 탐지 분야에서 최신 기술인 MVNN 모델은 F1 점수 0.772를 기록하여 표준 VGG19 기반 베이스라인보다 뚜렷이 뛰어났다.
• MCG-FNeWS 데이터셋은 10,000건 이상의 균형 잡힌 가짜 및 진짜 뉴스 게시글을 포함하며, 외부 반박 저장소에는 37,877건의 반박 자료가 포함되어 있다.
• 경쟁 프레임워크와 데이터셋은 다중 모달 가짜 뉴스 탐지 시스템 평가를 위한 견고한 기준을 제공하며, 초기 융합 전략이 가장 효과적인 융합 전략으로 부각되었다.