[논문 리뷰] SAFE: Similarity-Aware Multi-Modal Fake News Detection

Xinyi Zhou, Jindi Wu외 1명|arXiv (Cornell University)|2020. 02. 19.

Misinformation and Its Impacts참고 문헌 29인용 수 94

한 줄 요약

SAFE는 텍스트와 시각적 콘텐츠를 그들의 교차 모달 유사성과 함께 공동으로 모델링하여 가짜 뉴스를 탐지하며, PolitiFact와 GossipCop 데이터셋에서 기준선보다 성능이 우수하다.

ABSTRACT

Effective detection of fake news has recently attracted significant attention. Current studies have made significant contributions to predicting fake news with less focus on exploiting the relationship (similarity) between the textual and visual information in news articles. Attaching importance to such similarity helps identify fake news stories that, for example, attempt to use irrelevant images to attract readers' attention. In this work, we propose a $\mathsf{S}$imilarity-$\mathsf{A}$ware $\mathsf{F}$ak$\mathsf{E}$ news detection method ($\mathsf{SAFE}$) which investigates multi-modal (textual and visual) information of news articles. First, neural networks are adopted to separately extract textual and visual features for news representation. We further investigate the relationship between the extracted features across modalities. Such representations of news textual and visual information along with their relationship are jointly learned and used to predict fake news. The proposed method facilitates recognizing the falsity of news articles based on their text, images, or their "mismatches." We conduct extensive experiments on large-scale real-world data, which demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 텍스트와 이미지 간의 교차 모달 유사성을 활용하여 가짜 뉴스 탐지를 개선하려는 동기.
• 뉴스 기사의 텍스트, 시각적 및 관계 표현을 학습하는 다중 모달 프레임워크를 개발.
• 교차 모달 유사성의 도입이 단일 모달 기준선에 비해 가짜 뉴스 예측 성능을 개선함을 입증.

제안 방법

• 추가 완전 연결층을 가진 확장된 Text-CNN을 사용하여 텍스트 특징을 추출한다.
• 사전 학습된 image2sentence 파이프라인의 특징에서 Text-CNN을 적용하여 시각 특징을 추출한 다음, 이를 d차원 표현으로 변환한다.
• 텍스트 표현과 이미지 표현 간의 교차 모달 유사도 s를 정의하고, 불일치를 유도하는 유사성 기반 신호를 위한 전용 손실 항을 도입한다.
• 예측 손실과 유사도 손실의 두 손실 구성요소를 갖는 공동 학습 목표를 통해 다중 모달 특징과 교차 모달 유사성을 결합한다.
• 텍스트, 시각, 예측기 매개변수를 업데이트하기 위해 공동 기울기 기반 절차(Algorithm 1)로 엔드투엔드 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 유사성 인지 다중 모달 모델이 단일 모달 또는 순진한 다중 모달 기준선보다 가짜 뉴스를 더 효과적으로 탐지할 수 있는가?
• RQ2 교차 모달 유사성을 포함하는 것이 텍스트와 이미지 간의 불일치를 식별하는 데 도움이 되어 위조를 나타내는가?
• RQ3 정확한 가짜 뉴스 탐지를 위한 다중 모달 콘텐츠와 교차 모달 유사성 간 기여의 균형은 무엇인가?

주요 결과

• SAFE는 PolitiFact 및 GossipCop 데이터셋에서 LIWC, VGG-19, 및 att-RNN 기준선보다 더 높은 정확도와 F1 점수를 달성한다.
• 텍스트, 시각, 그리고 교차 모달 유사성을 통합하는 것은 어느 모달리티도 제외하거나 유사성 항을 제외한 변형보다 성능이 우수하다.
• 텍스트 정보가 시각 정보보다 더 많은 정보를 제공하는 경향이 있지만, 두 모달리티와 그 관계를 함께 사용하면 최상의 결과를 얻을 수 있다.
• 다중 모달 특징과 교차 모달 유사성 간 상대 가중치를 조정해도 방법은 효과적이며, 두 요소 모두 탐지에 의미 있게 기여함을 시사한다.
• 사례 연구는 낮은 유사도 점수가 종종 가짜 뉴스와 일치함을 보여주며, 모델이 불일치를 식별하는 능력을 입증한다.