[논문 리뷰] Meta-Path-based Fake News Detection Leveraging Multi-level Social Context Information

Jian Cui, Kwanwoo Kim외 2명|arXiv (Cornell University)|2021. 09. 13.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 논문은 이질적 그래프에서 다중 수준의 사회적 맥락(출판사 및 사용자)과 시간적 사용자 참여 패턴을 메타패스를 활용해 추출함으로써 뉴스 표현의 엔드 투 엔드 학습을 가능하게 하는 새로운 가짜 뉴스 검출 프레임워크 Hetero-SCAN을 제안한다. Hetero-SCAN은 단지 90%의 훈련 데이터로도 최신 기술 수준의 성능을 달성하며, 저자료 환경에서도 기존 방법을 뛰어넘는다.

ABSTRACT

Fake news, false or misleading information presented as news, has a significant impact on many aspects of society, such as in politics or healthcare domains. Due to the deceiving nature of fake news, applying Natural Language Processing (NLP) techniques to the news content alone is insufficient. The multi-level social context information (news publishers and engaged users in social media) and temporal information of user engagement are important information in fake news detection. The proper usage of this information, however, introduces three chronic difficulties: 1) multi-level social context information is hard to be used without information loss, 2) temporal information is hard to be used along with multi-level social context information, 3) news representation with multi-level social context and temporal information is hard to be learned in an end-to-end manner. To overcome all three difficulties, we propose a novel fake news detection framework, Hetero-SCAN. We use Meta-Path to extract meaningful multi-level social context information without loss. Meta-Path, a composite relation connecting two node types, is proposed to capture the semantics in the heterogeneous graph. We then propose Meta-Path instance encoding and aggregation methods to capture the temporal information of user engagement and produce news representation end-to-end. According to our experiment, Hetero-SCAN yields significant performance improvement over state-of-the-art fake news detection methods.

연구 동기 및 목표

• 기존의 가짜 뉴스 검출 방법이 다중 수준의 사회적 맥락과 시간 정보를 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 정보 손실이 발생하는 이질적 사회적 맥락, 시간 동적 특성의 통합, 뉴스 표현의 엔드 투 엔드 학습이라는 세 가지 근본적인 과제를 극복하기 위해.
• 실세계 소셜 미디어 환경에서 새로운 뉴스, 출판사, 사용자에 대해 일반화할 수 있는 확장 가능하고 인덕티브인 프레임워크를 개발하기 위해.
• 수동 주석 처리 비용으로 인해 데이터가 부족한 상황에서 뛰어난 성능을 보여주기 위해.

제안 방법

• Hetero-SCAN은 이질적 그래프에서 의미를 추출하기 위해 메타패스를 사용하여 정보 손실 없이 다중 수준의 사회적 맥락(예: 출판사 및 사용자)을 유지한다.
• 메타패스 인스턴스 인코딩 및 집계 메커니즘을 도입하여 그래프 내 사용자 참여의 시간적 동적 특성을 포착한다.
• 메타패스 샘플링 이후 노드 간에 공유되는 학습 가능한 파라미터를 활용하여 미리 보지 않은 노드에 대한 인덕티브 표현 학습을 가능하게 한다.
• 사회적 맥락과 시간적 특징을 통합된 엔드 투 엔드 학습 목표로 통합하여 가짜 뉴스 검출 성능 최적화를 도모한다.
• 대규모 사용자 참여 데이터를 관리하기 위해 랜덤 샘플링을 사용하여 계산 효율성과 표현 충실도의 균형을 확보한다.

Figure 1 . Example of fake news distribution and dissemination. Publishers publish the news, and users tweet the news. Some publishers are regarded as low credibility sources according to the famous fact-checking website, MBFC. User A is an example of an instigator in Twitter, and User B is an examp

실험 결과

연구 질문

• RQ1 정보 손실 없이 다중 수준의 사회적 맥락(출판사 및 사용자)을 가짜 뉴스 검출에서 효과적으로 캡처할 수 있는 방법은 무엇인가?
• RQ2 이질적 사회적 맥락과 그래프 기반 학습 프레임워크에서 시간적 사용자 참여 패턴을 의미 있게 통합할 수 있는가?
• RQ3 통합된 엔드 투 엔드 학습 접근 방식이 다단계 또는 비최적의 그래프 임베딩 방법보다 가짜 뉴스 검출에서 뛰어난 성능을 낼 수 있는가?
• RQ4 실세계 가짜 뉴스 데이터셋에서 흔한 저자료 설정에서 제안된 방법의 성능은 어떠한가?

주요 결과

• Hetero-SCAN은 훈련 데이터의 90%로 학습했을 때 테스트 세트에서 AUC 0.900을 달성하여 모든 베이스라인을 크게 능가한다.
• 훈련 데이터의 30%만으로도 Hetero-SCAN은 AUC 0.835를 기록하며, 다른 방법이 90%의 데이터로 학습했을 때조차도 이를 뛰어넘는다.
• 제거 실험 결과에서 시간 동적 모델링을 제거하면 AUC가 0.751로 떨어지며, 시간적 특성의 중요성을 입증한다.
• Hetero-SCAN은 강력한 인덕티브 바이어스를 보이며, 추론 시에 미리 보지 않은 뉴스, 출판사, 사용자에 대해 신뢰할 수 있는 임베딩을 생성한다.
• GCN, GAT, GraphSAGE, R-GCN, HAN 등의 GNN 베이스라인은 이질적이고 시간적 특성을 효과적으로 다루지 못해 Hetero-SCAN에 비해 떨어진다.

Figure 2 . Heterogeneous Graph of News and Node Feature Engineering.