[논문 리뷰] Do Sentence Interactions Matter? Leveraging Sentence Level Representations for Fake News Classification

Vaibhav Vaibhav, Raghuram Mandyam Annasamy외 1명|arXiv (Cornell University)|2019. 10. 27.

Misinformation and Its Impacts참고 문헌 15인용 수 7

한 줄 요약

이 논문은 뉴스 기사들을 의미적 그래프로 표현하는 그래프 신경망(GAT) 모델을 제안한다. 여기서 노드는 문장이며, 간선은 문장 간 상호작용을 캡처하여 가짜 뉴스 분류를 향상시킨다. 풍자, 신뢰할 만한, 기만적 뉴스 간에 문장 간 공명 방식이 어떻게 다를지 모델링함으로써, 기존 모델보다 최대 87.8% F1 점수로 우수한 성능을 달성하며, 이는 이원 분류에서 최상의 성능을 기록하고, 도메인 외 데이터셋으로의 일반화 능력도 뛰어나다.

ABSTRACT

The rising growth of fake news and misleading information through online media outlets demands an automatic method for detecting such news articles. Of the few limited works which differentiate between trusted vs other types of news article (satire, propaganda, hoax), none of them model sentence interactions within a document. We observe an interesting pattern in the way sentences interact with each other across different kind of news articles. To capture this kind of information for long news articles, we propose a graph neural network-based model which does away with the need of feature engineering for fine grained fake news classification. Through experiments, we show that our proposed method beats strong neural baselines and achieves state-of-the-art accuracy on existing datasets. Moreover, we establish the generalizability of our model by evaluating its performance in out-of-domain scenarios. Code is available at https://github.com/MysteryVaibhav/fake_news_semantics

연구 동기 및 목표

• 기존의 가짜 뉴스 분류 방법에서 문장 간 상호작용 모델링의 부족, 특히 풍자, 위장 뉴스, 선전과 같은 세분화된 카테고리에 대해 해결하고자 한다.
• 특히 신뢰할 만한 뉴스와 풍자 뉴스 간에 문장 수준의 의미적 상호작용이 유의미하게 다름을 조사하고자 한다.
• 수작업 특징에 의존하지 않고도 장거리 문장 간 의존성과 공명 패턴을 포착할 수 있는 신경망 아키텍처를 개발하고자 한다.
• 모델의 성능을 도메인 내 및 도메인 외 데이터셋에서 평가하여 일반화 능력을 평가하고자 한다.
• 주의 맵(attention maps)을 통해 해석 가능성(interpretability)을 제공하여, 다양한 뉴스 유형 간 문장 군집화 및 집중 방식의 차이를 드러내고자 한다.

제안 방법

• 각 문장을 노드로 하는 문서 수준의 그래프를 구축하며, 간선은 그래프 주의망(GAT)을 통해 학습되어 상호 문장 관계를 캡처한다.
• BERT 기반 문장 임베딩을 그래프 모델의 입력 특징으로 사용하여 맥락적 의미 정보를 유지한다.
• 메시지 전파 과정에서 이웃 문장의 중요도를 동적으로 가중치 부여하기 위해 다중 헤드 주의망을 적용한다.
• 문장 쌍 간의 의미적 유사도를 기반으로 간선 가중치를 향상시키기 위해 문장 유사도(SSF) 모듈을 도입한다.
• 그래프 컬러레이션 레이어를 활용해 그래프 전반에 걸쳐 정보를 집계하여 문서 수준의 표현을 생성하고, 이를 분류에 활용한다.
• 다양한 데이터셋에서 다중 분류 및 이원 분류 작업에 대해 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 신뢰할 만한 뉴스, 풍자, 기만적 뉴스 기사 간에 문장 간 상호작용이 의미적으로 다를까?
• RQ2 그래프 신경망을 통해 문장 수준의 상호작용을 모델링하면 기존의 순차 모델을 초월해 가짜 뉴스 분류 성능을 향상시킬 수 있을까?
• RQ3 제안된 그래프 기반 모델은 훈련 데이터와 테스트 데이터가 서로 다른 소스에서 온 도메인 외 데이터셋에도 일반화될 수 있을까?
• RQ4 GAT 모델의 주의 가중치는 다양한 뉴스 유형 간 문장 공명성 및 군집화의 차이를 어떻게 반영하는가?
• RQ5 모델은 도메인 내 및 도메인 외 평가에서 강력한 신경망 기반 베이스라인과 이전 최고 성능 모델을 모두 능가할 수 있을까?

주요 결과

• 2개의 주의 헤드를 가진 GAT 모델은 도메인 외 설정에서 RPN 데이터셋에서 89.1% F1을 기록했으며, 훈련 데이터 오버랩이 없는 상황에서 이전 최고 성능(5중 교차 검증 기반 91% 정확도)을 뛰어넘었다.
• SLN 데이터셋에서 이원 분류(풍자 대 신뢰할 만한)의 경우, GAT + 2 Attn Heads 모델이 87.8% F1을 달성하여 이전 최고 성능(88.0% 정밀도, 82.0% 재현율)을 초월했다.
• GCN + Attn + SS 변형 모델은 SLN에서 87.8% F1을 기록하여, 단순한 GCN 기반 모델 대비 주의망과 유사도 모델링이 성능 향상에 기여함을 입증했다.
• 주의 맵의 정성적 분석 결과, 신뢰할 만한 뉴스 기사에서는 몇몇 핵심 문장(예: 단락 시작문장)에 집중하는 반면, 풍자 기사에서는 주의가 더 균일하게 분포되어 있어 문장 수준의 공명성이 높다는 것을 시사한다.
• 4원 분류(신뢰할 만한, 풍자, 위장 뉴스, 선전)에서 GAT + 2 Attn Heads 모델은 LUN-dev에서 97.82% F1, LUN-test에서 66.95% F1을 기록하여 이전 최고 성능(91.0% F1, LUN-dev)을 초월했으며, 강력한 일반화 능력을 보였다.
• 모델은 예측 불가능한 소스로의 일반화에 효과적으로 대응한다: LUN에서 훈련된 모델이 RPN(신뢰할 만한 소스에서 독립된 데이터)에서 강력한 성능을 보였으며, 훈련 데이터 오버랩이 없음에도 불구하고 도메인 이동에 대한 강건성을 보였다.