[논문 리뷰] Adversarial Active Learning based Heterogeneous Graph Neural Network for Fake News Detection

Yuxiang Ren, Bo Wang외 2명|arXiv (Cornell University)|2021. 01. 27.

Misinformation and Its Impacts참고 문헌 51인용 수 4

한 줄 요약

이 논문은 가짜 뉴스 탐지에 적합한 새로운 대안적 활성 학습 기반 이질적 그래프 신경망인 AA-HGNN을 제안한다. 이는 계층적 어텐션 메커니즘을 활용해 이질적 정보 네트워크(HINs)를 모델링하고, 고가치 학습 샘플을 쿼리하기 위한 대안적 선택기(adversarial selector)를 통합한다. 이 프레임워크는 레이블이 부족한 상황에서도 최신 기술 성능을 달성하며, 실제 데이터셋에서 낮은 데이터 환경에서 기존의 텍스트 전용 모델 및 표준 GNN 모델보다 F1 점수 기준 최대 9% 높은 성능을 보였다.

ABSTRACT

The explosive growth of fake news along with destructive effects on politics, economy, and public safety has increased the demand for fake news detection. Fake news on social media does not exist independently in the form of an article. Many other entities, such as news creators, news subjects, and so on, exist on social media and have relationships with news articles. Different entities and relationships can be modeled as a heterogeneous information network (HIN). In this paper, we attempt to solve the fake news detection problem with the support of a news-oriented HIN. We propose a novel fake news detection framework, namely Adversarial Active Learning-based Heterogeneous Graph Neural Network (AA-HGNN) which employs a novel hierarchical attention mechanism to perform node representation learning in the HIN. AA-HGNN utilizes an active learning framework to enhance learning performance, especially when facing the paucity of labeled data. An adversarial selector will be trained to query high-value candidates for the active learning framework. When the adversarial active learning is completed, AA-HGNN detects fake news by classifying news article nodes. Experiments with two real-world fake news datasets show that our model can outperform text-based models and other graph-based models when using less labeled data benefiting from the adversarial active learning. As a model with generalizability, AA-HGNN also has the ability to be widely used in other node classification-related applications on heterogeneous graphs.

연구 동기 및 목표

• 가짜 뉴스 탐지에서 레이블이 제한된 문제를 해결하기 위해 전문가의 레이블링이 고비용이자 시간이 많이 소요되는 상황를 고려한다.
• 뉴스 중심의 이질적 정보 네트워크(News-HIN)에서 창작자, 주제, 기사 및 그 관계를 통합해 가짜 뉴스 탐지를 노드 분류 문제로 모델링한다.
• 레이블이 부족한 상황에서 활성 학습과 대안적 학습을 융합해 가장 정보가 많은 샘플을 선별함으로써 모델 성능을 향상시킨다.
• 가짜 뉴스 탐지 외에도 다양한 이질적 그래프에서의 노드 분류 작업에 적용 가능한 일반화된 프레임워크를 개발한다.

제안 방법

• 모델은 이질적 네트워크에서 서로 다른 종류의 이웃에 대해 어텐션을 적용함으로써 노드 표현을 학습하는 계층적 그래프 어텐션 네트워크(HGAT)를 활용하여 구조적이고 의미적인 이질성을 유지한다.
• 대안적 활성 학습 프레임워크를 도입하여, 선택기 네트워크가 분류기와 경쟁적으로 훈련되어 레이블링이 필요한 가장 불확실하거나 정보가 많은 노드를 식별한다.
• 선택기는 기대 정보 수확량을 최대화하는 미분 가능한 쿼리 전략을 사용하여 활성 학습 파이프라인의 엔드 투 엔드 학습을 가능하게 한다.
• 노드 분류를 위한 그래프 신경망과 쿼리 선택을 위한 선택기를 동시에 최적화함으로써, 자원이 제한된 상황에서 효율적이고 효과적인 데이터 레이블링을 가능하게 한다.
• 뉴스 기사의 텍스트 특징를 임bedding하고 HIN의 구조적 표현과 융합하여 노드 임베딩을 풍부하게 한다.
• 모델은 레이블이 부여된 노드에 대한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 학습되며, 고가치 쿼리를 통해 반복적으로 훈련 세트를 확장하는 활성 학습 루프를 구현한다.

실험 결과

연구 질문

• RQ1 계층적 어텐션 메커니즘을 갖춘 이질적 그래프 신경망은 가짜 뉴스 탐지에서 다중 유형의 실체와 관계를 효과적으로 모델링할 수 있는가?
• RQ2 레이블이 제한된 상황에서 대안적 활성 학습은 가짜 뉴스 탐지 성능을 어떻게 향상시키는가?
• RQ3 제안된 대안적 선택기는 엔트로피 기반 또는 무작위 선택 전략과 비교해 정보가 풍부한 샘플을 더 잘 선택하는가?
• RQ4 HIN과 활성 학습을 융합함으로써, 탐지 정확도를 유지하거나 향상시키면서 필요한 레이블 샘플 수를 얼마나 줄일 수 있는가?
• RQ5 제안된 프레임워크는 가짜 뉴스 탐지만 아니라 이질적 그래프에서의 다른 노드 분류 작업으로 일반화 가능한가?

주요 결과

• AA-HGNN은 텍스트 전용 모델 및 표준 GNN 모델(GCN, GAT)보다 가짜 뉴스 탐지에서 뛰어난 성능을 보이며, 기준 분류기보다 2,800개의 훈련 노드를 사용할 때보다 1,200개의 레이블 노드만으로도 F1 점수 기준 9% 높은 성능을 달성한다.
• 대안적 활성 학습 전략은 성능 향상에 크게 기여한다: 동일한 모델이 활성 학습 없이 2,800개의 훈련 노드를 사용할 때보다 AA-HGNN은 9% 높은 성능을 기록한다.
• 대안적 선택기는 엔트로피 기반 또는 무작위 선택 전략보다 항상 더 높은 품질의 샘플을 쿼리한다. 이는 모든 쿼리 배치에서 뛰어나고 안정적인 성능 향상을 통해 입증된다.
• HGAT 기반 모델은 동종 그래프 신경망(GCN, GAT)보다 News-HIN에서 뛰어난 성능을 보이며, PolitiFact 데이터셋에서 GCN는 정밀도 0.9688를 기록했지만 재현율은 0.0246에 그쳐 가짜 뉴스 탐지 능력이 떨어지는 것으로 나타났다.
• AA-HGNN는 낮은 데이터 비율(예: 훈련 데이터의 20%)에서도 강력한 성능을 유지하며, 다른 모델이 일반화에 실패하는 상황에서도 안정성을 확보하여 데이터 부족 상황에서의 강건성을 입증했다.
• 모델은 아키텍처와 학습 파라다임 덕분에 이질적 그래프에서의 다른 노드 분류 작업으로도 잘 일반화되며, 가짜 뉴스 탐지만 아니라 광범위한 응용 가능성을 보여준다.