[論文レビュー] Can We Spot the "Fake News" Before It Was Even Written?

Preslav Nakov|arXiv (Cornell University)|Aug 10, 2020

Misinformation and Its Impacts参考文献 69被引用数 7

ひとこと要約

本稿では、記事が公開される前に対象メディアの信頼性を評価することで、フェイクニュースに対して能動的アプローチを提案している。メディアプロファイリングを用いて偏見、一部的傾向、事実性を検出する。Tanbihニュースアグリゲーターは、過去のコンテンツを分析することで、誤解を招く可能性のある報道を特定し、読者がコンテンツを消費する前に文脈的に出所を評価できるようにする。

ABSTRACT

Given the recent proliferation of disinformation online, there has been also growing research interest in automatically debunking rumors, false claims, and "fake news." A number of fact-checking initiatives have been launched so far, both manual and automatic, but the whole enterprise remains in a state of crisis: by the time a claim is finally fact-checked, it could have reached millions of users, and the harm caused could hardly be undone. An arguably more promising direction is to focus on fact-checking entire news outlets, which can be done in advance. Then, we could fact-check the news before it was even written: by checking how trustworthy the outlets that published it is. We describe how we do this in the Tanbih news aggregator, which makes readers aware of what they are reading. In particular, we develop media profiles that show the general factuality of reporting, the degree of propagandistic content, hyper-partisanship, leading political ideology, general frame of reporting, and stance with respect to various claims and topics.

研究の動機と目的

• 誤報が迅速に広がる中で、是正が遅れるという事態を是正するため。
• 個々の主張の検証から、報道機関の事前評価へと焦点を移すため。
• 一般的な信頼性、偏見、報道フレーミングの傾向を捉えるメディアプロファイルの開発。
• Tanbihニュースアグリゲーターを通じて読者に出所の信頼性に関する文脈的認識を提供するため。
• 報道機関の評判に基づく早期検出により、誤情報の拡散を抑えるため。

提案手法

• 報道機関の歴史的コンテンツに基づいてメディアプロファイルを構築し、言語的および構造的特徴を分析する。
• 報告された主張の整合性と検証可能性を評価することで、一般的な事実性を測定する。
• 感情的な言語、誘導的用語、選択的報道などの兆候を用いてプロパガンダ的コンテンツを検出する。
• 主要トピックに対するスタンス検出を通じて、ハイパーパrtisan ship（極端な一部的傾向）と政治的イデオロギーを定量化する。
• 支配的となる物語パターンとトピック固有のバイアスを特定することで、メディアのフレーミングをモデル化する。
• プロファイルをTanbihニュースアグリゲーターに統合し、読者にリアルタイムでの出所信頼性インジケーターを提供する。

実験結果

リサーチクエスチョン

• RQ1 記事が公開される前に対象メディアの信頼性、偏見、一部的傾向を信頼性を持ってプロファイリングできるか。
• RQ2 報道機関レベルでのプロファイル化が、誤解を招くまたは事実と異なる内容を発信する可能性をどれほど正確に予測できるか。
• RQ3 事後検証のfact-checkingと比較して、事前評価による出所の信頼性評価は、誤情報の拡散をどれほど効果的に抑えるか。
• RQ4 自動化されたプロファイリングにより、読者にメディアの偏見や一部的傾向の可能性を効果的に警告できるか。
• RQ5 信頼性やプロパガンダ的傾向と最も強く相関する具体的な言語的および構造的特徴は何か。

主な発見

• メディアプロファイリングにより、個々の記事が公開される前に対象メディアの誤解を招く可能性のある出所を早期に特定できる。
• ハイパーパrtisan ship（極端な一部的傾向）とプロパガンダ的コンテンツが強い報道機関は、事実と異なる主張や誤解を招く主張を発信する可能性が著しく高い。
• Tanbihアグリゲーターは、事実性スコアやイデオロギー的傾向を含むメディアプロファイルを表示することで、読者の意識を高めることに成功している。
• メディアプロファイルは、偏見やフレーミングの一貫したパターンを捉えており、信頼性の高い出所レベルの評価が可能である。
• 事前プロファイル化により、読者が文脈的に出所を評価できるようになるため、誤情報の拡散リスクが低減される。
• このアプローチにより、反応的（事後対応）な検証から能動的（事前対応）な検証へと事実検証のパラダイムが転換され、拡散した誤情報による不可逆的損害が緩和される。