[논문 리뷰] Network-based Fake News Detection: A Pattern-driven Approach

Xinyi Zhou, Reza Zafarani|arXiv (Cornell University)|2019. 06. 10.

Misinformation and Its Impacts참고 문헌 41인용 수 17

한 줄 요약

이 논문은 사회적 네트워크 구조를 활용하여 가짜 뉴스를 설명 가능하고 강건한 방식으로 탐지하기 위해 다수의 네트워크 수준—노드, 이고(ego), 삼중체(triad), 커뮤니티, 전체 네트워크—에서의 전파 패턴을 기반으로 한 패턴 기반의 네트워크 기반 접근법을 제안한다. 실험 결과, 초기 단계의 네트워크 데이터가 제한된 상황에서도 안정적인 성능을 보이며, 최대 F1 점수 0.93까지 기록하여 최신 기법들을 능가한다.

ABSTRACT

Fake news gains has gained significant momentum, strongly motivating the need for fake news research. Many fake news detection approaches have thus been proposed, where most of them heavily rely on news content. However, network-based clues revealed when analyzing news propagation on social networks is an information that has hardly been comprehensively explored or used for fake news detection. We bridge this gap by proposing a network-based pattern-driven fake news detection approach. We aim to study the patterns of fake news in social networks, which refer to the news being spread, spreaders of the news and relationships among the spreaders. Empirical evidence and interpretations on the existence of such patterns are provided based on social psychological theories. These patterns are then represented at various network levels (i.e., node-level, ego-level, triad-level, community-level and the overall network) for being further utilized to detect fake news. The proposed approach enhances the explainability in fake news feature engineering. Experiments conducted on real-world data demonstrate that the proposed approach can outperform the state of the arts.

연구 동기 및 목표

• 콘텐츠 분석을 초월하여 네트워크 기반 전파 단서를 종합적으로 활용하는 데에 미치지 못하는 격차를 보완하기 위해.
• 사회심리학 이론을 바탕으로 가짜 뉴스 유포에서 나타나는 다양한 패턴—더 넓은 확산, 더 많은 유포자, 더 강한 참여도, 더 두꺼운 상호연결성—이 실증적으로 검증 가능한지 탐구하고 검증하기 위해.
• 이러한 패턴을 포착하기 위해 노드, 이고, 삼중체, 커뮤니티, 네트워크 수준의 설명 가능하고 다수 수준의 네트워크 특징을 설계하기 위해.
• 콘텐츠에 의존하지 않고 최소한의 전파 데이터로도 가짜 뉴스를 조기에 탐지할 수 있도록 하여 스타일적 조작에 대한 강건성을 높이기 위해.
• 실세계 데이터셋에서 최신 기반 콘텐츠 기반 및 하이브리드 모델들과 비교해 뛰어난 성능을 입증하기 위해.

제안 방법

• 이 접근법은 네 가지 핵심 가짜 뉴스 패턴—더 넓은 전파, 더 많은 유포자, 더 강한 참여도, 더 두꺼운 유포자 간 연결성—을 식별하며, 이는 사회심리학 이론에 기반한다.
• 노드 수준(예: 차수, 중간성), 이고 수준(로컬 네트워크 구조), 삼중체 수준(클리크 패턴), 커뮤니티 수준(모듈라리티, 밀도), 네트워크 수준(글로벌 지표)의 다섯 수준의 네트워크 수준 특징을 구성한다.
• 실세계 사회적 네트워크 데이터에서 수집된 뉴스 전파 데이터를 기반으로 하며, 텍스트 콘텐츠가 아닌 구조적 패턴에 중점을 둔다.
• 이러한 패턴 기반 특징을 사용하는 지도 학습 프레임워크를 통해 뉴스를 가짜 또는 진실로 분류하며, 명시적인 네트워크 패턴 표현을 통해 모델의 해석 가능성을 향상시킨다.
• 특히 데이터가 희박한 초기 탐지 시나리오에서 성능 향상을 위해 네트워크 유사도 측정치를 통합한다.
• 논문은 두 개의 실세계 데이터셋(PolitiFact 및 BuzzFeed)을 대상으로 평가되었으며, 특징 기여도 분석과 데이터 희박성 및 클래스 불균형에 대한 강건성에 대한 분석도 수행되었다.

실험 결과

연구 질문

• RQ1 가짜 뉴스는 진실 뉴스와 비교해 사회 네트워크에서 특별한 전파 패턴을 보이며, 이러한 패턴이 실증적으로 검증 가능한가?
• RQ2 예를 들어 유포자 밀도나 참여도와 같은 네트워크 수준의 구조적 패턴을 체계적으로 추출하고 가짜 뉴스 탐지에 활용할 수 있는가?
• RQ3 노드, 이고, 삼중체, 커뮤니티, 네트워크 수준의 다양한 네트워크 추상화 수준이 가짜 뉴스 탐지 성능에 어떻게 기여하는가?
• RQ4 제한된 전파 데이터로도 제안된 방법이 조기에 효과적으로 가짜 뉴스를 탐지할 수 있는가?
• RQ5 콘텐츠 기반 및 최신 기술 모델들과 비교해 패턴 기반 접근법이 정확도와 강건성 면에서 어떻게 뛰어나게 되는가?

주요 결과

• 모든 패턴과 네트워크 유사도 특징을 사용할 경우, 제안된 방법은 BuzzFeed 데이터셋에서 최대 F1 점수 0.93, PolitiFact 데이터셋에서 0.90을 기록한다.
• 학습 데이터가 제한된 상황에서도 성능이 안정적이며, 학습 기사 수가 적을 경우에도 정확도가 약 ~0.73에서 ~0.90 사이로 유지된다.
• 조기 탐지 시나리오에서도 높은 성능을 유지하며, 노드나 간선의 일부만 이용 가능한 부분 네트워크에서 정확도와 F1 점수는 약 ~0.80에서 ~0.90 사이로 변동한다.
• 학습 데이터셋 내 가짜 뉴스와 진실 뉴스의 분포가 전체 기사 수보다 성능에 더 큰 영향을 미치며, 클래스 불균형에 민감함을 시사한다.
• 네트워크 유사도 특징의 포함이 성능 향상에 크게 기여하며, 특히 더 많은 유포자 패턴과 더 강한 참여도 패턴에서 두드러진다.
• 이 접근법은 텍스트 특징에 최소한으로 의존하므로 콘텐츠 조작에 강건하며, 악성 행위자가 스타일적 왜곡을 시도하더라도 취약성이 낮다.