[논문 리뷰] Fake News Detection using Stance Classification: A Survey

Anders Edelbo Lillie, Emil Refsgaard Middelboe|arXiv (Cornell University)|2019. 06. 29.

Misinformation and Its Impacts참고 문헌 20인용 수 11

한 줄 요약

이 종합 검토는 낮은 자원 언어인 덴마크어를 위한 가짜 뉴스 탐지에 초점을 맞춰, 군중 반응을 활용하여 입장을 분류하는 시스템을 제안한다. 은닉 마르코프 모델(HMMs)과 의사결정나무를 사용하여 주석이 달린 마이크로블로그 데이터를 분석한다. 특성 공학과 HMM 기반의 진실성 탐지 기법이 뛰어난 성능을 보이며, 낮은 자원 언어인 덴마크어에서 자동 가짜 뉴스 탐지의 프레임워크를 제공한다.

ABSTRACT

This paper surveys and presents recent academic work carried out within the field of stance classification and fake news detection. Echo chambers and the model organism problem are examples that pose challenges to acquire data with high quality, due to opinions being polarised in microblogs. Nevertheless it is shown that several machine learning approaches achieve promising results in classifying stance. Some use crowd stance for fake news detection, such as the approach in [Dungs et al., 2018] using Hidden Markov Models. Furthermore feature engineering have significant importance in several approaches, which is shown in [Aker et al., 2017]. This paper additionally includes a proposal of a system implementation based on the presented survey.

연구 동기 및 목표

• 낮은 자원 언어에서의 자원 부족 문제를 해결하기 위해 덴마크어를 위한 자동 입장 분류 시스템을 개발하는 것.
• 마이크로블로그에서의 군중 반응을 활용하여 소문을 검증하거나 반증하고 가짜 뉴스를 탐지하기 위해 입장 분류를 적용하는 것.
• 덴마크어 소셜미디어에서의 입장 분석을 기반으로 한 가짜 뉴스 탐지 시스템 아키텍처와 방법론을 제안하는 것.
• 낮은 자원 환경에서의 입장 분류 및 진실성 탐지에 HMMs와 의사결정나무의 효과성을 평가하는 것.

제안 방법

• 가짜 뉴스 탐지에 사용하기 위해 마이크로블로그 응답의 시간적 및 순차적 패턴을 모델링하기 위해 은닉 마르코프 모델(HMMs)을 사용하는 것.
• 입장 레이블과 트윗 시간 정보 등의 공학된 특성들을 사용하여 의사결정나무 분류기로 입장 분류를 수행하는 것.
• 콘텐츠 기반, 네트워크 기반, 플랫폼 특화 기반의 특성들을 포함하여 마이크로블로그 데이터에서 대표적인 신호를 추출하기 위해 특성 공학 기법을 활용하는 것.
• 데이터 전처리 및 모델 훈련을 위해 scikit-learn, hmmlearn, PyTorch, NLTK 등의 라이브러리를 사용한 파이썬 기반의 시스템 구현.
• 덴마크 마이크로블로그 데이터의 수집 및 주석 처리로, 입장 레이블(Support, Deny, Query, Comment)과 진실성에 중점을 둔다.
• HMMs와 의사결정나무를 통합한 프로토타입 시스템 설계 및 파rameter 튜닝과 실험적 검증을 통한 평가.

실험 결과

연구 질문

• RQ1 제한된 기존 자원을 고려할 때, 어떻게 덴마크어에서 입장 분류를 효과적으로 적용하여 가짜 뉴스를 탐지할 수 있는가?
• RQ2 특히 HMMs와 의사결정나무와 같은 기계학습 기법들이 덴마크 마이크로블로그에서의 입장 분류 및 진실성 탐지에 얼마나 효과적인가?
• RQ3 특성 공학과 데이터 주석 처리가 낮은 자원 환경에서의 입장 분류 시스템 성능에 미치는 영향는 어떠한가?
• RQ4 덴마크어에서 배포 가능한 가짜 뉴스 탐지 시스템을 구축하기에 가장 적합한 시스템 아키텍처와 기술 스택는 무엇인가?

주요 결과

• 간단한 특성들만으로도 시간적 순서의 입장 패턴과 트윗 시간을 모델링함으로써 HMM 기반 접근법이 진실성 탐지에서 유망한 성능을 보였다.
• 의사결정나무 모델은 잘 공학된 특성과 함께 사용될 경우, 입장 분류에 있어 단순하면서도 효과적인 것으로 입증되었다.
• 특성 공학은 성능에 결정적인 역할을 하며, 대표적이고 일반적인 특성들은 분류 정확도를 크게 향상시켰다.
• 모델 일반화에 영향을 주는 편향된 표현과 극단화된 데이터로 인해, 모델 생물학적 문제와 마이크로블로그 내의 에코 챔버 현상이 도전 과제가 되었다.
• 군중의 입장 반응, 특히 집계된 결과는 주장의 진실성에 강력한 지표가 될 수 있으며, 이는 가짜 뉴스 탐지에 활용될 수 있음을 뒷받침한다.
• 의사결정나무와 딥러닝 기법을 조합한 앙상블 접근법은 뉴스 기사와 같은 마이크로블로그 외 데이터 유형에도 적용 가능성을 보이며, 다양한 데이터 유형에의 적응 가능성을 시사한다.