[論文レビュー] Network-based Fake News Detection: A Pattern-driven Approach

Xinyi Zhou, Reza Zafarani|arXiv (Cornell University)|Jun 10, 2019

Misinformation and Its Impacts参考文献 41被引用数 17

ひとこと要約

本稿では、SNSの複数のネットワークレベル（ノード、エゴ、トライアド、コミュニティ、全体ネットワーク）における拡散パターンを活用し、説明可能で頑健な方法でフェイクニュースを検出する、パターン駆動型のネットワークベースの手法を提案する。実験の結果、F1スコアが最大0.93に達し、初期段階のネットワークデータが限られている状況でも安定した性能を示す。

ABSTRACT

Fake news gains has gained significant momentum, strongly motivating the need for fake news research. Many fake news detection approaches have thus been proposed, where most of them heavily rely on news content. However, network-based clues revealed when analyzing news propagation on social networks is an information that has hardly been comprehensively explored or used for fake news detection. We bridge this gap by proposing a network-based pattern-driven fake news detection approach. We aim to study the patterns of fake news in social networks, which refer to the news being spread, spreaders of the news and relationships among the spreaders. Empirical evidence and interpretations on the existence of such patterns are provided based on social psychological theories. These patterns are then represented at various network levels (i.e., node-level, ego-level, triad-level, community-level and the overall network) for being further utilized to detect fake news. The proposed approach enhances the explainability in fake news feature engineering. Experiments conducted on real-world data demonstrate that the proposed approach can outperform the state of the arts.

研究の動機と目的

• フェイクニュース検出において、コンテンツ分析を超えた包括的なネットワーク的拡散手がかりの活用が不足しているというギャップを埋める。
• 社会的心理学的理論を基盤として、フェイクニュースの拡散に特徴的なパターン（広範な拡散、多数の拡散者、強い関与、密接な相互接続）が一貫して存在することを実証的に検証する。
• これらのパターンを捉えるために、ノード、エゴ、トライアド、コミュニティ、ネットワークの複数レベルの説明可能なネットワーク特徴量を設計する。
• 最小限の拡散データでフェイクニュースを早期に検出可能にし、コンテンツ依存性を低減することで、スタイルの操作に対してより頑健な検出を実現する。
• 実世界のデータセットを用いた実験により、最先端のコンテンツベースおよびハイブリッドモデルと比較して優れた性能を示すことを実証する。

提案手法

• 本手法は、4つの主要なフェイクニュースのパターン（広範な拡散、多数の拡散者、強い関与、拡散者間の密接な接続）を特定し、社会的心理学的理論に基づく。
• ノードレベル（例：次数、媒介性）、エゴレベル（局所的ネットワーク構造）、トライアドレベル（クライQUEパターン）、コミュニティレベル（モジュラリティ、密度）、ネットワークレベル（グローバル指標）の5段階の抽象化レベルでネットワーク特徴量を構築する。
• 特徴量は、ニュース拡散の実世界のSNSデータから抽出され、テキスト的内容ではなく構造的パターンに焦点を当てる。
• 教師あり学習フレームワークを用い、これらのパターン駆動特徴量を用いてニュースをフェイクまたは真贋に分類する。これにより、明示的なネットワークパターン表現を通じてモデルの解釈可能性が向上する。
• 特にデータがスパースな初期検出状況において性能を向上させるために、ネットワーク類似度測度を組み込む。
• 本手法は、2つの実世界データセット（PolitiFact および BuzzFeed）を用いて評価され、特徴量の寄与度とデータスパarsityおよびクラス不均衡に対する頑健性に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 フェイクニュースは真贋ニュースと比較して、SNSにおいて特徴的な拡散パターンを示すのか。また、これらは実証的に検証可能か？
• RQ2 拡散者密度や関与度といった、ネットワークレベルの構造的パターンを体系的に抽出し、フェイクニュース検出に活用できるか？
• RQ3 ノード、エゴ、トライアド、コミュニティ、ネットワークといった異なるネットワーク抽象化レベルは、フェイクニュース検出性能にどのように寄与するか？
• RQ4 本手法は、限られた拡散データでの初期段階でもフェイクニュースを効果的に検出できるか？
• RQ5 本手法のパターン駆動型アプローチは、コンテンツベースおよび最先端の検出モデルと比較して、精度と頑健性において優れているか？

主な発見

• 本手法は、全パターンとネットワーク類似度特徴量を用いた場合、BuzzFeedデータセットでF1スコア最大0.93、PolitiFactデータセットで0.90を達成した。
• 訓練データが限られている状況でも性能が安定し、わずかな訓練記事数での精度は約0.73から約0.90の範囲で維持された。
• 初期検出状況においても高い性能を維持し、ノードやエッジの一部しか利用できないサブネットワークにおいても、精度とF1スコアは約0.80から約0.90の範囲に収まった。
• トレーニングデータセットにおけるフェイクニュースと真贋ニュースの分布が、総記事数よりも性能に大きな影響を与えることが示され、クラス不均衡に感受性が高いことが判明した。
• ネットワーク類似度特徴量の導入により、特に「多数の拡散者パターン」と「強い関与パターン」において検出性能が顕著に向上した。
• 本手法はコンテンツ操作に対して頑健であることが示された。テキスト特徴量への依存度が低いため、悪意ある攻撃者がスタイルを隠蔽しても影響を受けにくくなった。