[논문 리뷰] GAME-ON: Graph Attention Network based Multimodal Fusion for Fake News Detection

Mudit Dhawan, Shakshi Sharma외 3명|arXiv (Cornell University)|2022. 02. 25.

Misinformation and Its Impacts인용 수 19

한 줄 요약

이 논문은 텍스트 및 시각 모달리티에 대해 완전히 연결된 그래프를 사용하여 미세한 수준의 내모달 및 간모달 상호작용을 모델링하는 그래프 어텐션 네트워크 기반 엔드 투 엔드 다중모달 융합 프레임워크인 GAME-ON을 제안한다. 이는 트위터에서 SOTA 대비 평균 11%의 성능 향상을 달성하며, 가장 유사한 기준 모델 대비 65% 적은 파라미터를 사용하여 다중모달 위성 뉴스 탐지에서 뛰어난 효율성과 강건성을 입증한다.

ABSTRACT

Social media in present times has a significant and growing influence. Fake news being spread on these platforms have a disruptive and damaging impact on our lives. Furthermore, as multimedia content improves the visibility of posts more than text data, it has been observed that often multimedia is being used for creating fake content. A plethora of previous multimodal-based work has tried to address the problem of modeling heterogeneous modalities in identifying fake content. However, these works have the following limitations: (1) inefficient encoding of inter-modal relations by utilizing a simple concatenation operator on the modalities at a later stage in a model, which might result in information loss; (2) training very deep neural networks with a disproportionate number of parameters on small but complex real-life multimodal datasets result in higher chances of overfitting. To address these limitations, we propose GAME-ON, a Graph Neural Network based end-to-end trainable framework that allows granular interactions within and across different modalities to learn more robust data representations for multimodal fake news detection. We use two publicly available fake news datasets, Twitter and Weibo, for evaluations. Our model outperforms on Twitter by an average of 11% and keeps competitive performance on Weibo, within a 2.6% margin, while using 65% fewer parameters than the best comparable state-of-the-art baseline.

연구 동기 및 목표

• 이전의 다중모달 위성 뉴스 탐지 모델들이 단순한 연결을 통한 후기 융합을 사용함으로써 정보 손실이 발생하고 모달 간 이질성 갭을 제대로 다루지 못하는 한계를 해결하기 위해.
• 작고 복잡한 실제 세계의 다중모달 데이터셋에서 훈련된 딥 러닝 모델의 과적합 위험을 줄이기 위해 성능을 유지하면서 모델 복잡도를 감소시키기 위해.
• 텍스트 및 시각 모달리티의 조기에 세밀한 융합을 가능하게 하기 위해 내모달 및 간모달 관계를 동시에 모델링하는 통합된 그래프 기반 아키텍처를 제공하기 위해.
• 다양한 다중모달 데이터셋(트위터 및 웨이보 포함)에 대해 일반화 능력이 뛰어나면서도 파라미터 수를 최소화한 경량이지만 강력한 프레임워크를 개발하기 위해.

제안 방법

• 텍스트 및 시각 모달리티 각각에 대해 완전히 연결된 그래프를 구축하며, 노드는 텍스트의 경우 의미적 및 문법적 임베딩, 시각 모달리티의 경우 검출된 객체 특징을 나타내고, 간선은 노드 간의 관계를 나타낸다.
• 각 모달리티 그래프에 그래프 어텐션 네트워크(GATs)를 적용하여 이웃 노드들에 대한 적응형 어텐션 가중치를 학습함으로써 각 모달리티 내의 국소적 및 전역적 의존성을 포착한다.
• 텍스트 및 시각 그래프의 대응하는 노드 간에 간모달 연결을 도입하여 직접적 및 간접적인 간모달 메시지 전달을 가능하게 하며, 이질성 갭을 줄인다.
• 모델은 내모달 및 간모달 그래프 양쪽에서 GAT을 동시에 훈련함으로써 조기 융합을 수행하여, 네트워크가 처음부터 공동 표현을 학습할 수 있도록 한다.
• 최종 읽기 레이어는 평균 풀링을 통해 최종 노드 표현을 집계한 후, 이진 위성 뉴스 탐지용 분류기 헤드를 적용한다.
• 전체 프레임워크는 정확도 및 F1-스코어를 최적화하기 위해 표준 크로스 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련 가능하다.

실험 결과

연구 질문

• RQ1 내모달 및 간모달 관계를 동시에 모델링하는 그래프 기반 다중모달 융합 프레임워크가 후기 융합 기반 모델보다 위성 뉴스 탐지에서 뛰어난 성능을 내는가?
• RQ2 그래프 어텐션 메커니즘이 다중모달 그래프 내에서 관련 노드 및 간선에 적응적으로 집중함으로써 표현 학습을 향상시키는가?
• RQ3 경량 GNN 기반 모델이 기존의 복잡한 모델들보다 훨씬 적은 파라미터로 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ4 통합된 그래프 아키텍처를 통한 조기 융합이 텍스트 및 시각 모달리티 간의 이질성 갭을 어느 정도 감소시키는가?

주요 결과

• 트위터 데이터셋에서 GAME-ON은 현재 SOTA 모델인 CALM보다 모든 평가 지표(정확도 및 F1-스코어) 평균 11% 높은 성능을 기록했다.
• 웨이보 데이터셋에서 GAME-ON은 가장 뛰어난 성능을 내는 복잡한 SOTA 모델들과 약 2.6% 이내의 경쟁력 있는 성능을 달성하여 강력한 일반화 능력을 입증했다.
• GAME-ON은 가장 유사한 기준 모델(MCAN) 대비 약 65% 적은 학습 가능한 파라미터를 사용하며, MCAN의 290만 개 대비 약 100만 개의 파라미터만을 사용한다.
• 제거 실험 결과, 간모달 연결을 제거하면 정확도 평균 4.6% 감소 및 F1-스코어 평균 5.7% 감소가 발생하여 간모달 상호작용의 중요성을 확인했다.
• GAT 레이어를 GCN 레이어로 대체한 GCN-Fusion 변종은 F1-스코어 2.1% 감소 및 정확도 2.7% 감소를 보였으며, 이는 어텐션 메커니즘의 유용성을 강조한다.
• 단모달 시각 모델은 트위터에서 86.2%의 정확도를 기록하여, 시각적 특징 자체만으로도 매우 예측 가능하다는 것을 시사하지만, GAME-ON을 통한 다중모달 융합이 성능 향상에 크게 기여한다.