[논문 리뷰] Exploiting Multi-domain Visual Information for Fake News Detection

Peng Qi, Juan Cao외 3명|arXiv (Cornell University)|2019. 08. 13.

Misinformation and Its Impacts참고 문헌 33인용 수 33

한 줄 요약

MVNN은 주파수 도메인 CNN을 다중 분기 픽셀 도메인 CNN-RNN 및 주의(attention)와 결합하여 가짜 뉴스 이미지 탐지에 사용되며, 실제 데이터셋에서 84.6%의 정확도를 달성하고 기준선을 상회합니다.

ABSTRACT

The increasing popularity of social media promotes the proliferation of fake news. With the development of multimedia technology, fake news attempts to utilize multimedia contents with images or videos to attract and mislead readers for rapid dissemination, which makes visual contents an important part of fake news. Fake-news images, images attached in fake news posts,include not only fake images which are maliciously tampered but also real images which are wrongly used to represent irrelevant events. Hence, how to fully exploit the inherent characteristics of fake-news images is an important but challenging problem for fake news detection. In the real world, fake-news images may have significantly different characteristics from real-news images at both physical and semantic levels, which can be clearly reflected in the frequency and pixel domain, respectively. Therefore, we propose a novel framework Multi-domain Visual Neural Network (MVNN) to fuse the visual information of frequency and pixel domains for detecting fake news. Specifically, we design a CNN-based network to automatically capture the complex patterns of fake-news images in the frequency domain; and utilize a multi-branch CNN-RNN model to extract visual features from different semantic levels in the pixel domain. An attention mechanism is utilized to fuse the feature representations of frequency and pixel domains dynamically. Extensive experiments conducted on a real-world dataset demonstrate that MVNN outperforms existing methods with at least 9.2% in accuracy, and can help improve the performance of multimodal fake news detection by over 5.2%.

연구 동기 및 목표

• 텍스트와 사회적 맥락을 넘어 비주얼 콘텐츠를 가짜 뉴스 탐지에 활용해야 할 필요성을 제시한다.
• 가짜 뉴스 이미지의 물리적 및 의미적 특징을 포착하기 위한 다도메인 시각 프레임워크(MVNN)를 제안한다.
• 주파수 도메인과 픽셀 도메인 특성을 융합하면 탐지 성능이 향상된다는 것을 보여준다.
• 실제 데이터셋에서 MVNN을 검증하고 기초선과 비교한다.

제안 방법

• 블록 DCT를 이용해 이미지를 주파수 도메인으로 변환하고 CNN으로 물리적 조작/재압축 패턴을 포착한다.
• 픽셀 도메인에서 다분기 CNN-RNN(Bi-GRU)을 사용해 이미지에서 다계층 의미 특징을 추출한다.
• 주파수 특징과 픽셀 특징을 주의(attention) 메커니즘으로 융합해 최종 가짜 뉴스 대 진짜 뉴스 분류를 생성한다.
• 교차 엔트로피 손실로 엔드투엔드 학습하고 드롭아웃, 배치 정규화, Adam 최적화를 사용한다.
• Weibo 가짜 뉴스 데이터셋에서 정확도, 정밀도, 재현율, F1으로 평가한다.

실험 결과

연구 질문

• RQ1 MVNN이 시각 모달리티만으로 가짜 뉴스 탐지를 개선할 수 있는가?
• RQ2 주파수 도메인 및 픽셀 도메인 구성요소와 주의(attention) 및 아키텍처 선택이 MVNN의 성능에 어떤 영향을 미치는가?
• RQ3 텍스트와 결합했을 때 MVNN이 다중 모달 가짜 뉴스 탐지를 향상시킬 수 있는가?
• RQ4 각 도메인과 네트워크 구성요소가 전체 성능에 기여하는 바는 무엇인가?

주요 결과

• MVNN은 단일 시각 모달리티 가짜 뉴스 탐지에서 84.6%의 정확도를 달성하고, 기준선보다 최소 9.2%p 우수하다.
• 픽셀 도메인 특징이 주파수 도메인 특징보다 더 큰 기여를 하며, 주파수는 보조적 이점을 제공한다.
• 주의 융합, Bi-GRU, 및 픽셀 도메인 서브네트워크의 다중 분기가 성능을 크게 향상시킨다.
• 제거 연구는 주파수/픽셀 도메인을 제거하면 정확도가 각각 0.794/0.737로 감소하고, 주의(attention), Bi-GRU 또는 분기를 제거해도 결과가 악화됨을 보여준다.
• MVNN이 학습한 시각 특징 공간은 어느 한 도메인만 사용할 때보다 가짜 이미지와 진짜 이미지 사이의 분리가 더 명확하다.