[논문 리뷰] Graph Neural Networks with Continual Learning for Fake News Detection from Social Media

Yi Han, Shanika Karunasekera외 1명|arXiv (Cornell University)|2020. 07. 07.

Misinformation and Its Impacts참고 문헌 60인용 수 77

한 줄 요약

논문은 비텍스트 콘텐츠 없이 확산 기반 그래프 신경망을 사용해 가짜 뉴스를 탐지하고, 전체 재학습 없이 새로운 보지 않은 데이터에서도 성능을 유지하기 위해 지속적 학습을 도입한다.

ABSTRACT

Although significant effort has been applied to fact-checking, the prevalence of fake news over social media, which has profound impact on justice, public trust and our society, remains a serious problem. In this work, we focus on propagation-based fake news detection, as recent studies have demonstrated that fake news and real news spread differently online. Specifically, considering the capability of graph neural networks (GNNs) in dealing with non-Euclidean data, we use GNNs to differentiate between the propagation patterns of fake and real news on social media. In particular, we concentrate on two questions: (1) Without relying on any text information, e.g., tweet content, replies and user descriptions, how accurately can GNNs identify fake news? Machine learning models are known to be vulnerable to adversarial attacks, and avoiding the dependence on text-based features can make the model less susceptible to the manipulation of advanced fake news fabricators. (2) How to deal with new, unseen data? In other words, how does a GNN trained on a given dataset perform on a new and potentially vastly different dataset? If it achieves unsatisfactory performance, how do we solve the problem without re-training the model on the entire data from scratch? We study the above questions on two datasets with thousands of labelled news items, and our results show that: (1) GNNs can achieve comparable or superior performance without any text information to state-of-the-art methods. (2) GNNs trained on a given dataset may perform poorly on new, unseen data, and direct incremental training cannot solve the problem---this issue has not been addressed in the previous work that applies GNNs for fake news detection. In order to solve the problem, we propose a method that achieves balanced performance on both existing and new datasets, by using techniques from continual learning to train GNNs incrementally.

연구 동기 및 목표

• 비텍스트 사회적 맥락 특징을 활용한 전파 기반 가짜 뉴스 탐지를 동기화한다.
• 트윗 내용 없이 전파 패턴으로 가짜 뉴스와 진짜 뉴스를 구분하는 GNN의 작동 원리를 평가한다.
• 보지 못한 데이터셋에서의 모델 성능과 단순 증가 학습의 한계를 조사한다.
• Existing 데이터와 새로운 데이터 간의 균형 잡힌 성능을 달성하기 위해 지속적 학습 기법을 제안한다.

제안 방법

• 트위터/유저 노드와 뉴스 아이템을 나타내는 추가 노드가 있는 그래프 형태로 뉴스의 전파 패턴을 모델링한다.
• GraphSage를 기반으로 한 그래프 분류 GNN인 DiffPool을 사용하여 전파 그래프를 분류한다.
• 유저 프로필 속성 및 타임라인 파생 지표와 같은 비텍스트 특징으로 인접 행렬 및 특성 행렬을 구성한다.
• 다른 특징 세트(유저 프로필, 타임라인 특징, 또는 둘 다) 및 팔로워/팔로잉 간선의 유무를 실험한다.
• PolitiFact 및 GossipCop 데이터셋에서 정확도, 정밀도, 재현율, F1을 여러 무작위 분할로 평가한다.
• 다중 데이터셋에서 학습 시 발생하는 재앙적 망각을 완화하기 위해 지속적 학습 접근법(GEM 및 EWC)을 적용한다.

실험 결과

연구 질문

• RQ1 GNN이 트윗 콘텐츠 없이 비텍스추얼 전파 패턴만으로 가짜 뉴스를 식별할 수 있는가?
• RQ2 하나의 데이터셋에서 훈련된 GNN이 다른, 보지 못한 데이터셋에서 어떻게 성능을 보이며, 지속적 학습이 교차 데이터셋 일반화에 도움이 되는가?

주요 결과

• 비텍스트 전파 특징을 사용하는 GNN이 평가된 데이터셋에서 텍스트 기반의 최첨단 방법과 경쟁적이거나 더 우수한 성능을 달성한다.
• 단일 데이터셋에서 학습된 모델은 다른 데이터셋에서 성능이 낮고, 단순 증가 학습은 데이터셋 간 성능의 균형을 이루지 못한다.
• 지속적 학습 기법(GEM, EWC)을 도입하면 데이터셋 간 더 균형 잡힌 성능을 얻고, 실험에서 일반적으로 GEM이 EWC보다 우수하다.
• 고려된 설정에서 팔로워/팔로잉 관계를 추가해도 성능 향상에 큰 차이가 나타나지 않는다.
• 대부분의 모델이 모듈한 수의 에폭 이내에 안정적인 성능에 수렴한다.