[論文レビュー] The Role of User Profile for Fake News Detection

Kai Shu, Xinyi Zhou+3 more|arXiv (Cornell University)|Apr 30, 2019

Misinformation and Its Impacts参考文献 32被引用数 17

ひとこと要約

本稿では、SNS上の共有行動を分析することで、フェイクニュースを共有する可能性の高いユーザーを特定することを目的として、ユーザーのプロフィールがフェイクニュース検出に果たす役割を調査している。投稿数、政治的バイアス、性格特性などの明示的および暗黙的ユーザー特徴を抽出し、これらがフェイクニュース分類を顕著に向上させることを示している。複数の学習アルゴリズムにおいて平均F1スコアが0.90を超える結果が得られ、特に暗黙的特徴が明示的特徴よりも優れた判別能力を示した。

ABSTRACT

Consuming news from social media is becoming increasingly popular. Social media appeals to users due to its fast dissemination of information, low cost, and easy access. However, social media also enables the widespread of fake news. Because of the detrimental societal effects of fake news, detecting fake news has attracted increasing attention. However, the detection performance only using news contents is generally not satisfactory as fake news is written to mimic true news. Thus, there is a need for an in-depth understanding on the relationship between user profiles on social media and fake news. In this paper, we study the challenging problem of understanding and exploiting user profiles on social media for fake news detection. In an attempt to understand connections between user profiles and fake news, first, we measure users' sharing behaviors on social media and group representative users who are more likely to share fake and real news; then, we perform a comparative analysis of explicit and implicit profile features between these user groups, which reveals their potential to help differentiate fake news from real news. To exploit user profile features, we demonstrate the usefulness of these user profile features in a fake news classification task. We further validate the effectiveness of these features through feature importance analysis. The findings of this work lay the foundation for deeper exploration of user profile features of social media and enhance the capabilities for fake news detection.

研究の動機と目的

• SNS上のユーザーのプロフィールとフェイクニュース・リアルニュースの共有行動との関係を理解すること。
• フェイクニュースとリアルニュースを共有するユーザーを区別するための、明示的および暗黙的ユーザー特徴を同定・特徴化すること。
• コンテンツベースの手法と比較して、ユーザーのプロフィール特徴がフェイクニュース検出性能をどの程度向上させるかを評価すること。
• モデルのロバスト性と説明可能性を高めるために、ユーザーのプロフィールを効果的に活用する体系的かつ解釈可能なフレームワークを提供すること。

提案手法

• 著者らは、PolitifactおよびGossipCopの2つの実世界データセットを構築し、フェイクニュースおよびリアルニュースの信頼できる真偽ラベルを用いた。
• 絶対的および相対的指標を用いてユーザーの共有行動を測定し、フェイクニュースまたはリアルニュースを共有する可能性の高い代表的ユーザー群を同定する。
• 明示的プロフィール特徴（例：投稿数、フォロワー数）は、ユーザーメタデータから直接抽出する。
• 暗黙的プロフィール特徴（例：政治的バイアス、性格、年齢、性別）は、ユーザー生成テキストおよびソーシャルシグナルを対象に自然言語処理および機械学習技術を用いて推定する。
• フェイクニュース共有ユーザーとリアルニュース共有ユーザーの間での特徴分布の差を評価するために、比較的統計的分析を実施する。
• 複数の学習アルゴリズムを用いた分類実験を通じて、ユーザーのプロフィール特徴の有効性を検証し、特徴の重要度分析によりそのロバスト性と寄与度を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのユーザーがフェイクニュースまたはリアルニュースを共有する可能性が高いか？
• RQ2 フェイクニュースやリアルニュースを共有する可能性の高いユーザーの特徴は何か？ また、それらのプロフィール特徴は顕著に異なるか？
• RQ3 ユーザーのプロフィール特徴はフェイクニュース検出に有効に利用できるか？ また、コンテンツベースの特徴と比べてどう異なるか？

主な発見

• フェイクニュースを共有するユーザーは、リアルニュースを共有するユーザーと比べて、明示的および暗黙的特徴において統計的に有意な差を示す特徴を持つ。
• 政治的バイアスや性格特性などの暗黙的プロフィール特徴は、フェイクニュースとリアルニュースを区別する上で、明示的特徴よりも高い判別力を持つことが示された。
• ユーザーのプロフィール特徴は、さまざまな学習アルゴリズムにおいて一貫してフェイクニュース検出性能を向上させ、平均F1スコアが0.90を超えた。
• 提案されたユーザーのプロフィール特徴は、フェイクニュース分類タスクにおいて、最先端のコンテンツベース特徴を上回った。
• 特徴の重要度分析により、暗黙的特徴が明示的特徴よりも検出に寄与する寄与度が顕著に高く、モデルの解釈性とロバスト性における価値が裏付けられた。