[論文レビュー] Fake News Early Detection: An Interdisciplinary Study

Xinyi Zhou, Atishay Jain+2 more|arXiv (Cornell University)|Apr 26, 2019

Misinformation and Its Impacts参考文献 59被引用数 16

ひとこと要約

本稿では、心理的理論を基盤とし、語彙、構文、意味、話法のレベルでニュースコンテンツを分析することにより、初期フェイクニュース検出のための理論的・多分野的モデルを提案する。このモデルは、約88%の精度を達成し、訓練データが限られている場合やコンテンツが部分的である場合でも高い性能を維持するため、ソーシャルメディアへの広がりの前段階での信頼できる早期検出が可能である。

ABSTRACT

Massive dissemination of fake news and its potential to erode democracy has increased the demand for accurate fake news detection. Recent advancements in this area have proposed novel techniques that aim to detect fake news by exploring how it propagates on social networks. Nevertheless, to detect fake news at an early stage, i.e., when it is published on a news outlet but not yet spread on social media, one cannot rely on news propagation information as it does not exist. Hence, there is a strong need to develop approaches that can detect fake news by focusing on news content. In this paper, a theory-driven model is proposed for fake news detection. The method investigates news content at various levels: lexicon-level, syntax-level, semantic-level and discourse-level. We represent news at each level, relying on well-established theories in social and forensic psychology. Fake news detection is then conducted within a supervised machine learning framework. As an interdisciplinary research, our work explores potential fake news patterns, enhances the interpretability in fake news feature engineering, and studies the relationships among fake news, deception/disinformation, and clickbaits. Experiments conducted on two real-world datasets indicate the proposed method can outperform the state-of-the-art and enable fake news early detection when there is limited content information.

研究の動機と目的

• ソーシャルメディアへの広がりの前段階で、広がりの兆候が存在しない状況においても、フェイクニュース検出を実行するコンテンツベースのモデルを開発すること。
• 社会的・法医学的心理学におけるwell-establishedな理論を特徴工学に統合し、解釈可能性と検出精度の両方を向上させること。
• フェイクニュース、偽情報・だせん、およびクリックバイトコンテンツの間の関係を調査すること。
• 限られた訓練例や部分的なニュースコンテンツ（例：見出しのみ）といったデータが乏しい状況下でも、早期検出を可能にすること。
• 偽情報の検出に役立つ心理的原則（偽情報の欺瞞とセンセーショナリズム）に基づいた特徴を有する、正確で説明可能なモデルを構築すること。

提案手法

• モデルは、心理的理論に基づいた語彙、構文、意味、話法の4つの言語的レベルでニュース記事を表現する。
• 大規模なラベル付きデータに依存しない、手作業による心理的根拠を持つ特徴を採用することで、解釈可能性を高め、ラベル付きデータへの依存を軽減する。
• 感情パターン、語彙多様性、構文的複雑さ、意味的整合性、話法的マーカーといった特徴が、偽情報とクリックバイト戦略に関する理論から導出される。
• 教師あり機械学習フレームワークを用いて、PolitiFactおよびBuzzFeedの実世界データセットを用いて、フェイクまたは本物のニュースに分類する。
• 訓練データが限られている状況を模倣するため、訓練セットのサイズを変化させたり、部分的なコンテンツ（例：見出しのみ）を用いた評価を実施する。
• 実世界の早期検出シナリオをよりよく再現するために、時系列サンプリング戦略が適用されたが、データセットの制約により限界がある。

実験結果

リサーチクエスチョン

• RQ1 伝搬データが欠如する状況において、偽情報とクリックバイトに関する心理的理論を体系的に応用することで、フェイクニュース検出をどのように改善できるか？
• RQ2 限られた訓練データを用いた場合、コンテンツベースのモデルが最先端のモデルをどの程度上回るか？
• RQ3 フェイクニュース記事は、語彙、構文、意味、話法のレベルで、本物のニュースとどのように言語的スタイル、感情、構造が異なるか？
• RQ4 言語的および構造的パターンの観点から、フェイクニュース、偽情報／だせん、およびクリックバイトの間にはどのような関係があるか？
• RQ5 見出しのみが利用可能な場合、モデルは高い性能を維持できるか。これは、初期検出シナリオを模倣するものである。

主な発見

• 提案されたモデルは、実世界のデータセットで約88%の精度を達成し、すべてのベースライン（コンテンツベース、伝搬ベース、ハイブリッド）モデルを上回る。
• 訓練記事の数が減少した場合や、フェイクニュースと本物ニュースのクラス分布が不均衡になった場合でも、モデルは高い性能を維持し、約80%の精度と88%のF1スコアを達成する。
• 見出しのみが利用可能な場合、Perez-Rosasらに基づく先行最先端モデルを上回り、最小限の入力で強力な早期検出能力を示す。
• 部分的なコンテンツでも、潜在的表現（例：Word2Vec、Skip-gram）に依存するモデルを常に上回る性能を発揮するため、理論に基づいた明示的特徴工学の価値が顕著に現れる。
• フェイクニュース記事は、本物のニュースと比較して、より高いセンセーショナリズムと低いニュース価値を示すが、これはクリックバイトと類似している。ただし、読みやすさのパターンは複雑で、単純な指標では容易に捉えきれない。
• フェイクニュースは、本物のニュースと比較して、より短い語彙とより長い文を使用する傾向があり、これは欺瞞理論と整合する明確なスタイル的パターンを示している。