[논문 리뷰] A Deep Learning Approach for Automatic Detection of Fake News

Tanik Saikh, Arkadipta De외 2명|arXiv (Cornell University)|2020. 05. 11.

Misinformation and Its Impacts참고 문헌 20인용 수 21

한 줄 요약

이 논문은 다중 도메인 가짜 뉴스 탐지에 대해 BiGRU 기반 및 ELMo 기반의 딥러닝 모델을 제안하며, 수작업 특징 공학을 고려하지 않고도 FakeNews AMT 및 셀럽리티 데이터셋에서 기존 수작업 특징 기반 방법보다 각각 3.08% 및 9.3% 높은 성능을 달성하여 최신 기술 수준을 초월한다.

ABSTRACT

Fake news detection is a very prominent and essential task in the field of journalism. This challenging problem is seen so far in the field of politics, but it could be even more challenging when it is to be determined in the multi-domain platform. In this paper, we propose two effective models based on deep learning for solving fake news detection problem in online news contents of multiple domains. We evaluate our techniques on the two recently released datasets, namely FakeNews AMT and Celebrity for fake news detection. The proposed systems yield encouraging performance, outperforming the current handcrafted feature engineering based state-of-the-art system with a significant margin of 3.08% and 9.3% by the two models, respectively. In order to exploit the datasets, available for the related tasks, we perform cross-domain analysis (i.e. model trained on FakeNews AMT and tested on Celebrity and vice versa) to explore the applicability of our systems across the domains.

연구 동기 및 목표

• 정치적 또는 풍자적 콘텐츠에 집중하는 기존 가짜 뉴스 탐지 시스템의 한계를 해결한다.
• 정치, 엔터테인먼트, 스포츠, 교육, 비즈니스를 포함한 다양한 도메인으로 가짜 뉴스 탐지 범위를 확장한다.
• 수작업 언어적 특징이나 복잡한 NLP 파ip라인을 필요로 하지 않는 엔드 투 엔드 딥러닝 모델을 개발한다.
• FakeNews AMT 및 셀럽리티 데이터셋에서의 다중 도메인 학습 및 테스트를 통해 모델의 일반화 능력을 평가한다.
• 가짜 뉴스 탐지에서 도메인 특화 패턴의 역할을 탐구하고, 향후 외부 지식 및 전이 학습 통합 가능성을 탐색한다.

제안 방법

• 뉴스 텍스트의 순차적 의존성을 포착하기 위해 양방향 게이팅 순환 단위(BiGRU) 네트워크를 사용하여 분류를 수행한다.
• 수작업 특징 추출에 의존하지 않고 문맥 기반 단어 표현을 캡처하기 위해 사전 학습된 ELMo 임베딩을 활용한다.
• 원시 텍스트 입력에서 가짜/정상 레이블로 직접 매핑하는 엔드 투 엔드 딥 네트워크 아키텍처를 설계하여 특징 공학을 회피한다.
• 두 개의 다중 도메인 데이터셋인 FakeNews AMT 및 셀럽리티 뉴스를 사용하여 모델을 학습한다. 이들 데이터셋은 다양한 도메인의 주제-문서-라벨 트리플을 포함한다.
• 한 데이터셋에서 학습하고 다른 데이터셋에서 테스트하여 일반화 능력을 평가하기 위해 다중 도메인 평가를 수행한다.
• 뉴스 콘텐츠에서 중요한 어휘 조합을 집중적으로 분석할 수 있는 능력을 아키텍처 자체에 암묵적으로 통합한 어텐션 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 다중 도메인 가짜 뉴스 탐지에서 기존의 수작업 특징 기반 접근 방식을 능가할 수 있는가?
• RQ2 BiGRU 및 ELMo 기반 모델은 정치, 엔터테인먼트, 교육 등 다양한 도메인에서 가짜 뉴스 탐지에 얼마나 효과적인가?
• RQ3 한 도메인에서 학습한 모델이 다른 도메인으로 일반화되는 정도는 어느 정도인가?
• RQ4 도메인 특화 패턴은 가짜 뉴스 탐지 시스템의 성능과 신뢰성에 어떤 영향을 미치는가?
• RQ5 향후 확장에서 WordNet과 같은 외부 지식 소스나 전이 학습 모델(BERT, XLNet 등)을 어떻게 통합하여 탐지 성능을 향상시킬 수 있는가?

주요 결과

• BiGRU 기반 모델은 FakeNews AMT 데이터셋에서 최신 기술 수준의 SVM 기반 시스템보다 3.08% 높은 정확도를 기록했다.
• ELMo 기반 모델은 셀럽리티 뉴스 데이터셋에서 최신 기술 수준의 시스템을 9.3% 초월하여 다중 도메인 환경에서 뛰어난 일반화 능력을 입증했다.
• 다중 도메인 평가 결과, 한 데이터셋에서 학습한 모델가 다른 데이터셋에서 테스트할 때도 뚜렷한 성능을 보이며 어느 정도의 도메인 전이 가능성(transferability)을 확인했다.
• 모든 도메인에서 잘못된 분류가 관찰되었으며, 특히 엔터테인먼트 및 비즈니스 분야에서 정상 뉴스가 잘못 가짜로 분류되는 경우가 있었다. 이는 복잡한 콘텐츠의 미묘한 특성 탐지에 어려움이 있음을 시사한다.
• 연구 결과는 도메인 맥락이 가짜 뉴스 탐지에서 매우 중요한 역할을 한다고 확인하였으며, 도메인 인식 모델링을 통해 성능 향상을 더욱 이룰 수 있음을 시사한다.
• 결과는 수작업 언어적 특징 공학에 의존하지 않는 엔드 투 엔드 딥러닝 아키텍처의 효과성을 뒷받침하며, 특히 이러한 특징 공학을 피할 경우 가짜 뉴스 탐지에 있어 매우 효과적임을 입증한다.