[논문 리뷰] Can We Spot the "Fake News" Before It Was Even Written?

Preslav Nakov|arXiv (Cornell University)|2020. 08. 10.

Misinformation and Its Impacts참고 문헌 69인용 수 7

한 줄 요약

이 논문은 기사가 게재되기 이전에 뉴스 매체의 신뢰성을 평가함으로써 가짜 뉴스를 사전에 방지하는 프로액티브 접근 방식을 제안한다. 미디어 프로파일링을 통해 편향, 정당성, 사실성 등을 탐지하며, Tanbih 뉴스 집합기에서는 매체의 역사적 콘텐츠를 분석하여 오해의 소지가 있는 보도를 경고함으로써 독자가 콘텐츠를 소비하기 전에 소스를 맥락적으로 평가할 수 있도록 한다.

ABSTRACT

Given the recent proliferation of disinformation online, there has been also growing research interest in automatically debunking rumors, false claims, and "fake news." A number of fact-checking initiatives have been launched so far, both manual and automatic, but the whole enterprise remains in a state of crisis: by the time a claim is finally fact-checked, it could have reached millions of users, and the harm caused could hardly be undone. An arguably more promising direction is to focus on fact-checking entire news outlets, which can be done in advance. Then, we could fact-check the news before it was even written: by checking how trustworthy the outlets that published it is. We describe how we do this in the Tanbih news aggregator, which makes readers aware of what they are reading. In particular, we develop media profiles that show the general factuality of reporting, the degree of propagandistic content, hyper-partisanship, leading political ideology, general frame of reporting, and stance with respect to various claims and topics.

연구 동기 및 목표

• 정정보정이 지연되는 위기 상황을 해결하기 위해, 오류 정보가 바로 수정되기 전에 빠르게 퍼지는 상황을 방지하기 위해.
• 개별 진술 검증에서 뉴스 매체의 게재 이전 평가로 초점을 이동시키기 위해.
• 일般적인 신뢰성, 편향, 프레임 형성 경향성을 반영하는 미디어 프로필을 개발하기 위해.
• Tanbih 뉴스 집합기를 통해 독자들이 소스 신뢰성에 대한 맥락적 인식을 갖도록 지원하기 위해.
• 매체의 평판을 바탕으로 조기 탐지 기반으로 오해의 소지가 있는 정보의 확산을 줄이기 위해.

제안 방법

• 뉴스 매체의 역사적 콘텐츠를 기반으로 미디어 프로필을 구축하고, 언어적 및 구조적 특징을 분석하기 위해.
• 보고된 진술의 일관성과 검증 가능성 평가를 통해 일반적인 사실성 측정하기 위해.
• 감정적 언어, 부정적인 어휘, 선택적 보도 등의 신호를 사용해 선전적 콘텐츠 탐지하기 위해.
• 핵심 주제에 대한 입장을 탐지함으로써 초과 정당성과 정치적 이념을 정량화하기 위해.
• 주로 사용되는 서사 패턴과 주제별 편향을 식별함으로써 미디어 프레임 모델링하기 위해.
• 프로필을 Tanbih 뉴스 집합기에 통합하여 독자에게 실시간 소스 신뢰성 지표 제공하기 위해.

실험 결과

연구 질문

• RQ1 기사 게재 이전에 뉴스 매체의 신뢰성, 편향, 정당성에 대해 신뢰성 있게 프로파일링할 수 있는가?
• RQ2 매체 수준의 프로파일링이 잘못된 또는 오해의 소지가 있는 콘텐츠를 게재할 가능성을 얼마나 잘 예측할 수 있는가?
• RQ3 게재 이후 정정보정과 비교할 때, 사전 게재 소스 평가가 오해의 소지가 있는 정보 확산을 줄이는 데 얼마나 효과적인가?
• RQ4 자동화된 프로파일링을 통해 독자들이 매체의 편향과 정당성에 효과적으로 경고받을 수 있는가?
• RQ5 어떤 특정 언어적 및 구조적 특징이 미디어의 신뢰성과 선전적 성향과 가장 강하게 관련되어 있는가?

주요 결과

• 미디어 프로파일링은 개별 기사가 게시되기 이전에 오해의 소지가 있는 매체를 조기에 탐지할 수 있도록 한다.
• 초과 정당성과 선전적 콘텐츠가 많은 매체는 잘못되거나 오해의 소지가 있는 진술을 게재할 가능성이 뚜렷이 높다.
• Tanbih 집합기는 사실성 점수와 정치적 성향을 포함한 미디어 프로필을 표시함으로써 독자의 인식을 높이는 데 성공했다.
• 미디어 프로필은 일관된 편향과 프레임 형성 패턴을 반영하여 신뢰성 있는 소스 수준 평가가 가능하게 한다.
• 사전 게재 프로파일링은 독자가 소스를 맥락적으로 평가할 수 있도록 해, 오해의 소지가 있는 정보 확산 위험을 줄인다.
• 이 접근 방식은 정정보정의 패러다임을 반응적에서 사전적 방식으로 전환하여, 유포되는 오해의 소지가 있는 정보로 인한 돌이킬 수 없는 피해를 완화한다.