[논문 리뷰] FakeCovid -- A Multilingual Cross-domain Fact Check News Dataset for COVID-19

Gautam Kishore Shahi, Durgesh Nandini|arXiv (Cornell University)|2020. 06. 19.

Misinformation and Its Impacts인용 수 77

한 줄 요약

FakeCovid를 소개하는 다국어 크로스도메인 데이터셋으로, 92개 사이트에서 40개 언어에 걸친 105개국의 5,182건의 사실확인 COVID-19 기사로 구성되며, 거짓 뉴스를 탐지하기 위한 F1이 0.76인 기준선 분류기를 제공합니다.

ABSTRACT

In this paper, we present a first multilingual cross-domain dataset of 5182 fact-checked news articles for COVID-19, collected from 04/01/2020 to 15/05/2020. We have collected the fact-checked articles from 92 different fact-checking websites after obtaining references from Poynter and Snopes. We have manually annotated articles into 11 different categories of the fact-checked news according to their content. The dataset is in 40 languages from 105 countries. We have built a classifier to detect fake news and present results for the automatic fake news detection and its class. Our model achieves an F1 score of 0.76 to detect the false class and other fact check articles. The FakeCovid dataset is available at Github.

연구 동기 및 목표

• 다양한 도메인과 출처에서 사실확인된 COVID-19 뉴스를 대규모 다국어 데이터셋으로 생성한다.
• 기사들을 콘텐츠 기반 범주로 주석화하여 크로스도메인 분석을 가능하게 한다.
• 다양한 언어에 걸친 자동 가짜 뉴스 탐지를 위한 기준선 모델을 제공한다.
• COVID-19 잘못된 정보의 다국어 간·다국가 특성 분석을 가능하게 한다.

제안 방법

• 92개의 사실확인 웹사이트에서 5,182건의 사실확인 COVID-19 기사를 수집한다.
• Poynter와 Snopes의 출처를 참고하여 기사들을 선별한다 (04/01/2020–15/05/2020).
• 기사들을 수동으로 11개의 콘텐츠 범주로 주석화한다.
• 40개 언어와 105개국에 걸친 다국어 커버리지를 보장한다.
• 가짜 뉴스를 탐지하는 분류기를 훈련시키고 false 클래스와 다른 사실확인 클래스에서의 성능을 보고한다.

실험 결과

연구 질문

• RQ1 다국어, 크로스도메인 COVID-19 사실확인 뉴스 데이터셋은 언어와 국가별로 어떻게 다르게 나타나는가?
• RQ2 이 데이터셋으로 학습된 분류기가 언어에 걸쳐 가짜 뉴스를 다른 사실확인 콘텐츠와 효과적으로 구분할 수 있는가?
• RQ3 언어와 도메인 전반에 걸친 11개 콘텐츠 범주의 분포와 특성은 무엇인가?

주요 결과

• 데이터셋은 5,182건의 사실확인 COVID-19 기사로 구성되어 있다.
• 기사들은 92개의 사실확인 웹사이트에서 온다.
• 데이터는 40개 언어와 105개국을 포괄한다.
• FakeCovid로 학습된 분류기가 false 클래스를 탐지하고 다른 사실확인 기사에 대해 F1 점수 0.76을 달성한다.
• 데이터셋은 공개용으로 GitHub에서 이용 가능하다.