[논문 리뷰] NELA-GT-2018: A Large Multi-Labelled News Dataset for The Study of Misinformation in News Articles

Jeppe Nørregaard, Benjamin D. Horne외 1명|arXiv (Cornell University)|2019. 04. 02.

Misinformation and Its Impacts참고 문헌 15인용 수 38

한 줄 요약

본 논문은 engagement와 무관한 대규모 데이터셋인 713,534개의 영어 뉴스 기사(194개 매체, 02/2018–11/2018)를 다중 사이트의 진실성/신뢰도에 대한 ground-truth 라벨과 함께 소개한다.

ABSTRACT

In this paper, we present a dataset of 713k articles collected between 02/2018-11/2018. These articles are collected directly from 194 news and media outlets including mainstream, hyper-partisan, and conspiracy sources. We incorporate ground truth ratings of the sources from 8 different assessment sites covering multiple dimensions of veracity, including reliability, bias, transparency, adherence to journalistic standards, and consumer trust. The NELA-GT-2018 dataset can be found at https://doi.org/10.7910/DVN/ULHLCB.

연구 동기 및 목표

• 소셜 미디어 참여도와 무관하게 misinformation 연구를 위한 크고 다차원적인 ground-truth 라벨의 격차를 해소한다.
• 머신러닝과 뉴스 진실성 및 편향에 관한 질적 연구에 적합한 장기간의 데이터셋을 제공한다.
• 다양한 분석을 가능하게 하기 위해 다수의 평가 플랫폼에서 소스 수준의 ground-truth를 교차 검증한다.

제안 방법

• 02/2018부터 11/2018까지 194개 매체의 RSS 피드를 체계적으로 하루에 두 차례 크롤링하여 713,534개의 기사를 수집했다.
• 신뢰성, 편향성, 투명성, 신뢰를 다루는 소스별 ground-truth 라벨을 8개 평가 사이트에서 수집했다.
• 날짜, 소스, 제목, 정제된 텍스트를 포함하도록 SQLite 데이터베이스에 기사 데이터를 정리했고; 라벨은 소스별로 CSV에 저장했다.
• 8개 ground-truth 소스를 비교하고 설명했다 (NewsGuard, Pew, Wikipedia, OpenSources, MBFC, AllSides, BuzzFeed News, PolitiFact) 및 그들의 라벨링 체계.
• 원격 감독(distant supervision) 및 반지도 학습(semi-supervised learning)을 위한 활용 사례 가이드와 함께 문서화된 데이터셋을 제공했다.
• 데이터셋이 ground-truth 주도형 기계 학습 및 misinformation 전술에 대한 혼합 방법 연구를 지원한다고 제안했다.

실험 결과

연구 질문

• RQ1 참여 신호와 무관하게 대규모 다중 라벨 ground-truth 데이터셋이 견고한 misinformation 연구를 어떻게 가능하게 할 수 있는가?
• RQ2 확장된 기간에 걸쳐 다양한 뉴스 소스에 대해 진실성(veracity)과 편향의 특징과 커버리지는 어떻게 되는가?
• RQ3 여러 평가 사이트의 소스 수준 ground truth를 기사 수준 분석 및 모델 학습에 어떻게 활용할 수 있는가?

주요 결과

• 이 데이터셋은 02/2018과 11/2018 사이에 수집된 194개 뉴스 매체의 713,534개 기사를 포함한다.
• ground truth 라벨은 여덟 개의 독립 평가 사이트에서 교차 확인되었다.
• 라벨은 신뢰성, 편향, 투명성, 신뢰를 포함한 진실성의 다중 차원을 다룬다.
• 상호 검증 후에도 194개 소스 중 40개 소스는 라벨이 남아 있지 않았다.
• 모든 기사는 영어로 작성되었으며 소스 웹사이트에서 직접 수집되었고 소셜 미디어 참여와 무관하다.