[論文レビュー] FakeNewsNet: A Data Repository with News Content, Social Context and Spatialtemporal Information for Studying Fake News on Social Media

Kai Shu, Deepak Mahudeswaran+3 more|arXiv (Cornell University)|Sep 5, 2018

Misinformation and Its Impacts参考文献 29被引用数 215

ひとこと要約

本論文は FakeNewsNet を紹介する。これはニュース内容、ソーシャルコンテキスト、時空情報を組み合わせた多次元データリポジトリで、ソーシャルメディア上のフェイクニュースを研究し、データセット、分析、およびベースライン検出結果を実証する。

ABSTRACT

Social media has become a popular means for people to consume news. Meanwhile, it also enables the wide dissemination of fake news, i.e., news with intentionally false information, which brings significant negative effects to the society. Thus, fake news detection is attracting increasing attention. However, fake news detection is a non-trivial task, which requires multi-source information such as news content, social context, and dynamic information. First, fake news is written to fool people, which makes it difficult to detect fake news simply based on news contents. In addition to news contents, we need to explore social contexts such as user engagements and social behaviors. For example, a credible user's comment that "this is a fake news" is a strong signal for detecting fake news. Second, dynamic information such as how fake news and true news propagate and how users' opinions toward news pieces are very important for extracting useful patterns for (early) fake news detection and intervention. Thus, comprehensive datasets which contain news content, social context, and dynamic information could facilitate fake news propagation, detection, and mitigation; while to the best of our knowledge, existing datasets only contains one or two aspects. Therefore, in this paper, to facilitate fake news related researches, we provide a fake news data repository FakeNewsNet, which contains two comprehensive datasets that includes news content, social context, and dynamic information. We present a comprehensive description of datasets collection, demonstrate an exploratory analysis of this data repository from different perspectives, and discuss the benefits of FakeNewsNet for potential applications on fake news study on social media.

研究の動機と目的

• コンテンツ、ソーシャルコンテキスト、時空情報を含む総合的な偽情報データセットの必要性を動機づける。
• FakeNewsNet の構築と2つのデータセットおよび豊富な特徴の公開リリースを説明する。
• データ特性とベースラインの偽情報検出性能を特徴づける探索的分析を実証する。
• リポジトリによって可能になる潜在的な応用と研究機会について議論する。

提案手法

• ニュース内容、ソーシャルコンテキスト、時空情報をエンドツーエンドのパイプライン（FakeNewsTracker）で統合する。
• ファクトチェックソース（PolitiFact、GossipCop）から偽ニュースと実ニュースの真偽ラベルを整備し、必要に応じてアーカイブやウェブ検索でコンテンツを回収する。
• プラットフォーム（例：Twitter）からの社会的関与とメタデータを収集して、ユーザープロフィール、投稿、ネットワーク情報を含む広範なソーシャルコンテキストデータを組み立てる。
• 内容特徴（言語的、視覚的）と文脈信号（社会的行動、エンゲージメントパターン）を抽出・要約する。
• コンテンツ単独、ソーシャルコンテキスト、およびそれらの融合（SAF 変種）を用いた複数のモデルでベースラインの偽情報検出を実行する。
• 大規模リポジトリへの効率的なアクセスとサブセット取得のための API とデータ構造を提供する。

実験結果

リサーチクエスチョン

• RQ1 偽情報と実情報を区別する特徴と信号は、コンテンツ、ソーシャルコンテキスト、および時空的次元全体でどのようなものか？
• RQ2 ソーシャルコンテキストと時間情報を取り入れることは、コンテンツのみのモデルと比べて偽情報検出性能をどのように向上させるか？
• RQ3 多次元偽情報データセットを用いた今後の研究を導くベースライン指標と特徴は何か？
• RQ4 リポジトリは早期の偽情報検出と拡散研究をどのように支援できるか？

主な発見

• FakeNewsNet は PolitiFact および GossipCop からのニュース内容、ソーシャルコンテキスト、時空データを組み合わせ、多面的な偽情報研究を可能にする。
• コンテンツベースのモデルは PolitiFact と GossipCop のベースラインで約65-66%の精度を示し、融合モデル（SAF）は一般に性能を向上させる。
• ソーシャルコンテキストの特徴（エンゲージメントパターン）と内容を組み合わせると検出性能が向上する。SAF（Social Article Fusion）は報告結果で PolitiFact で最大 0.691 の精度、GossipCop で 0.792 の F1 を達成。
• ボット分析では、偽ニュース関連ユーザーの方が実ニュース関連ユーザーよりボットの存在が高く、エンゲージメントの種類（返信とリツイート）の顕著な差異が見られる。
• 時系列パターンは、偽ニュースが実ニュースに比べて急激なリツイートの急増と返信の少なさを示す傾向があり、早期検出信号の可能性を示唆する。
• 本論文は大規模データセットのサブセットへアクセスするためのスケーラブルな API とデータフォーマットを提供しており、再現性と再利用を促進する。