[논문 리뷰] Fake News Detection with Heterogeneous Transformer

Tianle Li, Yushi Sun외 3명|arXiv (Cornell University)|2022. 05. 06.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 논문은 뉴스, 게시물, 사용자에서의 국소적 다중모달 의미와 이질적 소셜 네트워크 내 전반적인 구조적 패턴을 모두 포착하는 새로운 인코더-디코더 트랜스포머 모델인 HetTransformer를 제안한다. 주어진 세 개의 실세계 데이터셋에서 최신 기술보다 뛰어난 성능을 발휘하며, 주로 어텐션 메커니즘과 위치 인코딩을 통해 이질적 그래프 구조와 다중모달 콘텐츠를 효과적으로 모델링한다.

ABSTRACT

The dissemination of fake news on social networks has drawn public need for effective and efficient fake news detection methods. Generally, fake news on social networks is multi-modal and has various connections with other entities such as users and posts. The heterogeneity in both news content and the relationship with other entities in social networks brings challenges to designing a model that comprehensively captures the local multi-modal semantics of entities in social networks and the global structural representation of the propagation patterns, so as to classify fake news effectively and accurately. In this paper, we propose a novel Transformer-based model: HetTransformer to solve the fake news detection problem on social networks, which utilises the encoder-decoder structure of Transformer to capture the structural information of news propagation patterns. We first capture the local heterogeneous semantics of news, post, and user entities in social networks. Then, we apply Transformer to capture the global structural representation of the propagation patterns in social networks for fake news detection. Experiments on three real-world datasets demonstrate that our model is able to outperform the state-of-the-art baselines in fake news detection.

연구 동기 및 목표

• 소셜 네트워크에서 가짜 뉴스를 탐지하기 위해 국소적 다중모달 의미와 전역적 확산 구조를 모두 모델링함으로써 도전 과제를 해결한다.
• 기존의 GNN과 트랜스포머가 이질적 그래프 구조와 다중모달 데이터를 효과적으로 다루지 못하는 한계를 극복한다.
• 메타패스나 그래프 분해 제약 조건에 의존하지 않고도 엔티티 수준의 의미와 확산 패턴을 포착할 수 있는 일반화 가능한 엔드 투 엔드 모델을 개발한다.
• 뉴스, 게시물, 사용자에 대한 다중모달 특징 인코더와 인코더-디코더 어텐션 메커니즘을 통합하여 가짜 뉴스 탐지 정확도를 향상시킨다.

제안 방법

• HetTransformer는 뉴스, 게시물, 사용자 엔티티에서 텍스트, 이미지, 사용자 프로필로부터 국소적 표현을 추출하기 위해 다중모달 특징 인코더를 사용한다.
• 소셜 네트워크 데이터로부터 이질적 그래프를 구성하며, 뉴스, 게시물, 사용자를 서로 다른 노드 유형으로 표현하고 다중 엣지 유형을 포함한다.
• 이질적 그래프 전반에 걸쳐 뉴스 확산 패턴의 전역적 구조적 표현을 포착하기 위해 인코더-디코더 트랜스포머 아키텍처를 적용한다.
• 인코더 및 디코더 레이어의 자기어텐션 메커니즘은 그래프 내 노드 간의 장거리 의존성과 맥락적 관계를 모델링한다.
• 입력 시퀀스의 구조적 순서를 유지하기 위해 위치 임베딩을 통합하여 표현 학습을 향상시킨다.
• 모든 노드의 주변 환경을 샘플링하기 위해 랜덤 워크 리스타트(RWR)를 활용하며, 이를 트랜스포머에 입력하여 맥락 인식 인코딩을 수행한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델은 이질적 소셜 네트워크에서 가짜 뉴스 탐지에 있어 국소적 다중모달 의미와 전역적 구조적 패턴을 효과적으로 포착할 수 있는가?
• RQ2 트랜스포머의 인코더-디코더 아키텍처는 인코더 전용 모델이나 RNN 기반 대안 대비 가짜 뉴스 탐지 성능을 어떻게 향상시키는가?
• RQ3 다중모달 특징 인코더와 위치 임베딩은 이질적 그래프에서 가짜 뉴스 탐지 성능에 얼마나 기여하는가?
• RQ4 모델 성능은 랜덤 워크 리스타트의 반복 수(γ)와 같은 하이퍼파라미터에 얼마나 민감한가?
• RQ5 제안된 모델은 다양한 실세계 데이터셋, 특히 다양한 확산 패턴과 데이터 모달리티를 가진 데이터셋에 일반화 가능한가?

주요 결과

• HetTransformer는 PolitiFact, GossipCop, PHEME 세 개의 실세계 데이터셋에서 최신 기술보다 뛰어난 성능을 기록하며, 기존 베이스라인을 모두 능가한다.
• PolitiFact 데이터셋에서 HetTransformer는 97.5%의 정확도를 달성했으며, 디코더를 제거하면 성능이 6.2% 감소한다.
• GossipCop 데이터셋에서는 모델이 99.0%의 정확도를 기록했고, 디코더 제거 시 성능이 0.2% 감소한다.
• PHEME 데이터셋에서는 모델이 82.5%의 정확도를 달성했으며, 디코더 제거 시 성능이 1.3% 감소하여 디코더가 전역 구조를 포착하는 데 핵심적인 역할을 함을 시사한다.
• 절단 실험 결과, 위치 임베딩을 제거하면 PolitiFact에서 2.5%, GossipCop에서 0.4%, PHEME에서 2.9%의 정확도 감소가 발생하여, 순서 정보 유지의 중요성을 입증한다.
• 하이퍼파라미터 민감도 분석 결과, PHEME 데이터셋에서 최적의 성능은 log₂(γ) ≈ 4일 때 달성되며, 이보다 더 작은 또는 더 큰 γ 값에서는 성능이 저하됨을 확인했다.