[논문 리뷰] Automatic Detection of Fake News

Verónica Pérez‐Rosas, Bennett Kleinberg외 2명|arXiv (Cornell University)|2017. 08. 23.

Misinformation and Its Impacts참고 문헌 13인용 수 377

한 줄 요약

이 논문은 여러 도메인에 걸친 두 개의 가짜 뉴스 데이터셋을 도입하고 언어적 특징 기반 탐지기가 상당한 정확도를 달성하는 결과를 제시하며, 일부 도메인에서 인간 기준의 성능이 비슷하거나 더 나은 성과를 보임을 보여준다.

ABSTRACT

The proliferation of misleading information in everyday access media outlets such as social media feeds, news blogs, and online newspapers have made it challenging to identify trustworthy news sources, thus increasing the need for computational tools able to provide insights into the reliability of online content. In this paper, we focus on the automatic identification of fake content in online news. Our contribution is twofold. First, we introduce two novel datasets for the task of fake news detection, covering seven different news domains. We describe the collection, annotation, and validation process in detail and present several exploratory analysis on the identification of linguistic differences in fake and legitimate news content. Second, we conduct a set of learning experiments to build accurate fake news detectors. In addition, we provide comparative analyses of the automatic and manual identification of fake news.

연구 동기 및 목표

• 도메인 간 온라인 뉴스의 신뢰성 평가를 위해 계산 도구의 필요성을 촉진한다.
• 두 가지 새로운 가짜 뉴스 데이터셋(크라우드소싱 및 웹 파생)을 진짜 정답 주석과 함께 제공한다.
• 어휘, 구문, 가독성 및 심리언어학적 특징을 사용하여 가짜 뉴스와 합법적 뉴스 간의 언어적 차이를 탐구한다.
• 기계 학습을 사용하여 가짜 뉴스 탐지기를 구축하고 평가하여 기준을 세우고 인간 성능과 비교한다.

제안 방법

• 두 개의 가짜 뉴스 데이터셋을 구성한다: FakeNewsAMT (크라우드소싱)와 Celebrity (웹 파생)로 짝을 이룬 가짜/진짜 기사를 포함한다.
• N-grams (tf-idf), 구두점 (LIWC 기반), LIWC 의미론/심리언어학 범주, 가독성 지표 및 구문 (CFG 기반) 특징을 포함한 광범위한 특징 집합을 추출한다.
• 다양한 특징 부분집합을 사용하여 5-폴드 교차검증으로 선형 SVM 분류기를 학습하고 정확도, 정밀도, 재현율 및 F1로 평가한다.
• 데이터셋마다 최고의 성능을 보이는 특징 세트를 확인하기 위한 소거 실험을 수행한다(예: FakeNewsAMT의 읽기능 Readability; Celebrity의 구두점 및 LIWC 변형).
• 탐지기의 일반화 성능을 평가하기 위해 교차 도메인 및 도메인 간 교차 실험을 수행한다.
• 두 데이터셋 모두에서 자동 탐지기의 성능을 인간 주석자와 비교한다.

실험 결과

연구 질문

• RQ1 크라우드소싱 및 웹 파생의 두 가지 다중 도메인 가짜 뉴스 데이터셋이 자동으로 가짜 뉴스를 효과적으로 탐지하는 데 도움이 될 수 있는가?
• RQ2 어떤 언어 특징군(어휘, 구문, 가독성, 심리언어학)이 도메인 간 가짜 뉴스와 합법적 뉴스를 가장 잘 구분하는가?
• RQ3 데이터셋 간 및 뉴스 도메인 간 교차 도메인 전이가 어떤 성능을 보이는가?
• RQ4 가짜 뉴스와 합법적 뉴스를 판단하는 기계 성능은 인간 능력과 어떻게 비교되는가?

주요 결과

• 언어적 특징을 사용하는 탐지기는 데이터셋 전반에서 무작위(0.50)보다 훨씬 높은 정확도를 달성한다.
• FakeNewsAMT에서 Readability 특징이 가장 높은 성능을 보이며 정확도가 베이스라인보다 현저히 높다; 모든 언어적 특징을 결합해도 강한 성능을 보인다.
• Celebrity 웹 데이터셋에서 구두점 특징이 개별적으로 가장 강력한 성능을 제공하며, 그 뒤를 N-grams, 전체 LIWC 및 구문 특징이 따른다.
• 교차 도메인 실험은 도메인 내 결과에 비해 현저한 성능 저하를 보이며, 도메인 의존적 속임수 신호를 시사한다.
• 도메인 간에 정치, 교육 및 기술은 비교적 강건한 교차 도메인 성능을 보이는 반면, 스포츠, 비즈니스, 엔터테인먼트는 더 도메인 특화적이다.
• 인간 심판과 비교할 때 자동 탐지기가 경쟁력 있으며 일부 도메인(Celebrity 도메인)에서는 인간보다 우수한 성능을 보인다.