[論文レビュー] Meta-Path-based Fake News Detection Leveraging Multi-level Social Context Information

Jian Cui, Kwanwoo Kim+2 more|arXiv (Cornell University)|Sep 13, 2021

Misinformation and Its Impacts被引用数 6

ひとこと要約

本稿では、異種グラフからマルチレベルのソーシャルコンテキスト（発行者およびユーザー）と時間的ユーザー参加パターンをメタパスを用いて抽出することで、ニュース表現のエンド・ツー・エンド学習を可能にする、Hetero-SCANと呼ばれる新規なフェイクニュース検出フレームワークを提案する。Hetero-SCANは最先端の性能を達成し、訓練データの90%でのみ学習させた場合にAUC 0.900を達成し、低データ環境下でも既存手法を上回る性能を示す。

ABSTRACT

Fake news, false or misleading information presented as news, has a significant impact on many aspects of society, such as in politics or healthcare domains. Due to the deceiving nature of fake news, applying Natural Language Processing (NLP) techniques to the news content alone is insufficient. The multi-level social context information (news publishers and engaged users in social media) and temporal information of user engagement are important information in fake news detection. The proper usage of this information, however, introduces three chronic difficulties: 1) multi-level social context information is hard to be used without information loss, 2) temporal information is hard to be used along with multi-level social context information, 3) news representation with multi-level social context and temporal information is hard to be learned in an end-to-end manner. To overcome all three difficulties, we propose a novel fake news detection framework, Hetero-SCAN. We use Meta-Path to extract meaningful multi-level social context information without loss. Meta-Path, a composite relation connecting two node types, is proposed to capture the semantics in the heterogeneous graph. We then propose Meta-Path instance encoding and aggregation methods to capture the temporal information of user engagement and produce news representation end-to-end. According to our experiment, Hetero-SCAN yields significant performance improvement over state-of-the-art fake news detection methods.

研究の動機と目的

• マルチレベルのソーシャルコンテキストと時間的情報を効果的に活用できない既存のフェイクニュース検出手法の限界を解消すること。
• 情報損失が生じる異種ソーシャルコンテキスト、時間的ダイナミクスの統合、ニュース表現のエンド・ツー・エンド学習という3つの慢性的な課題を克服すること。
• 現実世界のソーシャルメディア環境において、未観測のニュース、発行者、ユーザーに一般化可能なスケーラブルで誘導的（inductive）なフレームワークを開発すること。
• 手動でのアノテーションコストが高いため、訓練データが不足する状況が一般的な低データ環境下でも優れた性能を示すことを実証すること。

提案手法

• Hetero-SCANは、異種グラフからの意味的特徴抽出にメタパスを用い、情報損失なしにマルチレベルのソーシャルコンテキスト（例：発行者およびユーザー）を保持する。
• ノード間の時間的参加行動のダイナミクスを捉えるために、メタパスインスタンスの符号化および集約メカニズムを導入する。
• メタパスサンプリング後にノード間で共有される学習可能なパラメータを用いることで、未観測ノードに対しても誘導的表現学習を可能にする。
• ソーシャルコンテキストと時間的特徴を統合した統一的なエンド・ツー・エンド学習目的関数を採用し、フェイクニュース検出性能を最適化する。
• 大規模なユーザー参加データの管理を効率的に行うためにランダムサンプリングを用い、計算効率と表現の正確性のバランスを取る。

Figure 1 . Example of fake news distribution and dissemination. Publishers publish the news, and users tweet the news. Some publishers are regarded as low credibility sources according to the famous fact-checking website, MBFC. User A is an example of an instigator in Twitter, and User B is an examp

実験結果

リサーチクエスチョン

• RQ1 情報損失なしに、フェイクニュース検出においてマルチレベルのソーシャルコンテキスト（発行者およびユーザー）を効果的に捉える方法は何か？
• RQ2 時間的ユーザー参加パターンを、異種グラフベースの学習フレームワーク内で、異種ソーシャルコンテキストと意味的に統合する方法は何か？
• RQ3 統一的でエンド・ツー・エンドの学習アプローチは、段階的または部分最適なグラフ埋め込み手法を上回る性能を発揮できるか？
• RQ4 提案手法は、現実世界のフェイクニュースデータセットで一般的な低データ環境下でも、どのように性能を発揮するか？

主な発見

• Hetero-SCANは、訓練データの90%で学習させた場合、テストセットでAUC 0.900を達成し、すべてのベースラインを大きく上回る。
• 訓練データをたった30%にまで減らしても、Hetero-SCANはAUC 0.835を達成し、他の手法が90%のデータで学習した場合でさえも上回る。
• アブレーションスタディの結果、時間的モデリングを削除するとAUCは0.751に低下し、時間的ダイナミクスの重要性が裏付けられる。
• Hetero-SCANは強力な誘導的バイアスを示し、推論時において未観測のニュース、発行者、ユーザーに対しても信頼性の高い埋め込みを生成する。
• GCN、GAT、GraphSAGE、R-GCN、HANといったGNNベースラインは、異種性と時間的側面を効果的に扱えず、Hetero-SCANに劣る性能を示す。

Figure 2 . Heterogeneous Graph of News and Node Feature Engineering.