[논문 리뷰] Incorporating User-Comment Graph for Fake News Detection.

Hao Liao, Qi-xin Liu외 2명|arXiv (Cornell University)|2020. 11. 03.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 논문은 가짜 뉴스 탐지 성능을 향상시키기 위해 뉴스 콘텐츠, 사용자 댓글, 사용자-댓글 상호작용을 이종 그래프 신경망을 통해 통합적으로 모델링하는 그래프 기반 프레임워크 GCAL을 제안한다. 이는 최신 기술 수준(SOTA)을 초월하며, 정확도에서 최소 4%, 재현율에서 최소 7%, F1에서 최소 5% 향상된 성능을 달성했고, 모델의 해석 가능성도 제공한다.

ABSTRACT

Disinformation has long been regarded as a severe social problem, where fake news is one of the most representative issues. What is worse, today's highly developed social media makes fake news widely spread at incredible speed, bringing in substantial harm to various aspects of human life. Yet, the popularity of social media also provides opportunities to better detect fake news. Unlike conventional means which merely focus on either content or user comments, effective collaboration of heterogeneous social media information, including content and context factors of news, users' comments and the engagement of social media with users, will hopefully give rise to better detection of fake news. Motivated by the above observations, a novel detection framework, namely graph comment-user advanced learning framework (GCAL) is proposed in this paper. User-comment information is crucial but not well studied in fake news detection. Thus, we model user-comment context through network representation learning based on heterogeneous graph neural network. We conduct experiments on two real-world datasets, which demonstrate that the proposed joint model outperforms 8 state-of-the-art baseline methods for fake news detection (at least 4% in Accuracy, 7% in Recall and 5% in F1). Moreover, the proposed method is also explainable.

연구 동기 및 목표

• 소셜 미디어 플랫폼에서 빠르게 퍼지는 가짜 뉴스로 인한 증가하는 사회적 피해를 해결하기 위해.
• 기존의 가짜 뉴스 탐지 방법들이 콘텐츠 또는 댓글을 고립적으로만 다루는 한계를 극복하기 위해.
• 특히 뉴스 콘텐츠, 사용자 댓글, 사용자 참여 상호작용 간의 상호작용을 포함한 풍부하고 이종적인 소셜 미디어 정보를 활용하여 탐지 성능을 향상시키기 위해.
• 사용자-댓글 관계를 효과적으로 모델링하는 통합적이고 해석 가능한 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 뉴스 콘텐츠, 사용자 댓글, 사용자 참여 상호작용을 별개의 노드 유형으로 포함하는 이종 그래프를 구축하기 위해.
• 이종 그래프 내의 노드에 대한 저차원 표현을 학습하기 위해 그래프 신경망(GNN) 기법을 적용하여 콘텐츠, 댓글, 사용자 간의 복잡한 종속성을 포착하기 위해.
• 네트워크 표현 학습을 통해 사용자와 그들의 댓글 간의 맥락적 관계를 인코딩하여, 위장된 신호를 탐지할 수 있는 능력을 향상시키기 위해.
• 가짜 뉴스 분류를 최적화하기 위한 통합 학습 목표를 사용하여 GCAL 프레임워크를 엔드 투 엔드로 훈련하기 위해.
• 영향력 있거나 의심스러운 댓글 패tern을 우선시하기 위해 주목적 메커니즘 또는 메시지 전달 전략(가령 GNN 사용에 암시됨)을 통합하기 위해.
• 분류 결정에 기여하는 핵심 사용자-댓글 상호작용을 강조하여 모델의 해석 가능성 확보하기 위해.

실험 결과

연구 질문

• RQ1 콘텐츠 중심 또는 댓글 중심 접근 방식과 비교해 통합된 그래프 기반 모델에 사용자-댓글 상호작용을 통합함으로써 가짜 뉴스 탐지 성능이 향상되는가?
• RQ2 GCAL 프레임워크는 최신 기술 수준의 가짜 뉴스 탐지 방법들과 정확도, 재현율, F1 스코어 측면에서 어떻게 비교되는가?
• RQ3 모델의 예측은 그래프 내 사용자-댓글 관계 분석을 통해 어느 정도 해석 가능할 수 있는가?
• RQ4 콘텐츠, 댓글, 사용자 참여와 같은 이종 소셜 미디어 신호를 모델링함으로써 위장된 뉴스 탐지의 정교함이 향상되는가?

주요 결과

• GCAL 프레임워크는 두 개의 실세계 데이터셋에서 최고의 베이스라인 방법보다 최소 4% 높은 정확도를 달성했다.
• 기존 최신 기술 수준의 접근 방식과 비교해 재현율을 최소 7% 향상시켰다.
• F1 스코어는 모든 8개의 베이스라인 방법보다 최소 5% 높아, 일관된 성능 향상을 입증했다.
• 모델의 예측은 해석 가능하며, 분류 결정에 기여하는 식별 가능한 사용자-댓글 상호작용이 존재한다.
• 그래프 표현 학습을 통한 이종 소셜 신호 통합은 단일 모odal 또는 비-그래프 베이스라인에 비해 상당한 성능 향상을 이끌어냈다.
• 제안된 방법은 다양한 실세계 소셜 미디어 데이터셋에 걸쳐 뛰어난 일반화 성능을 보였다.