[論文レビュー] Fake News Detection with Heterogeneous Transformer

Tianle Li, Yushi Sun+3 more|arXiv (Cornell University)|May 6, 2022

Misinformation and Its Impacts被引用数 5

ひとこと要約

本稿では、ニュース、投稿、ユーザーの局所的マルチモーダル意味と、異種のソーシャルネットワークにおけるグローバル構造的パターンを同時に捉える、新しいエンコーダ・デコーダ型TransformerモデルであるHetTransformerを提案する。本モデルは、自己注意機構と位置符号化を用いて、異種グラフ構造とマルチモーダルコンテンツを効果的にモデリングすることで、3つの実世界データセットにおいて最先端の手法を上回る性能を達成する。

ABSTRACT

The dissemination of fake news on social networks has drawn public need for effective and efficient fake news detection methods. Generally, fake news on social networks is multi-modal and has various connections with other entities such as users and posts. The heterogeneity in both news content and the relationship with other entities in social networks brings challenges to designing a model that comprehensively captures the local multi-modal semantics of entities in social networks and the global structural representation of the propagation patterns, so as to classify fake news effectively and accurately. In this paper, we propose a novel Transformer-based model: HetTransformer to solve the fake news detection problem on social networks, which utilises the encoder-decoder structure of Transformer to capture the structural information of news propagation patterns. We first capture the local heterogeneous semantics of news, post, and user entities in social networks. Then, we apply Transformer to capture the global structural representation of the propagation patterns in social networks for fake news detection. Experiments on three real-world datasets demonstrate that our model is able to outperform the state-of-the-art baselines in fake news detection.

研究の動機と目的

• ソーシャルネットワークにおけるフェイクニュース検出の課題に、局所的マルチモーダル意味とグローバルな拡散構造の両方をモデリングすることで対処すること。
• 既存のGNNやTransformerが、異種グラフ構造とマルチモーダルデータを効果的に扱えないという限界を克服すること。
• メタパスやグラフ分解の制約に依存せずに、エンティティレベルの意味と拡散パターンを捉える汎用的でエンド・ツー・エンドのモデルを構築すること。
• ニュース、投稿、ユーザーのマルチモーダル特徴エンコーダーとエンコーダ・デコーダ型自己注意機構を統合することで、フェイクニュース検出の精度を向上させること。

提案手法

• HetTransformerは、ニュース、投稿、ユーザーのエンティティからテキスト、画像、ユーザープロフィールの局所的表現を抽出するためのマルチモーダル特徴エンコーダーを用いる。
• ソーシャルネットワークデータから異種グラフを構築し、ニュース、投稿、ユーザーを異なるノードタイプとして、複数のエッジタイプで表現する。
• エンコーダ・デコーダ型Transformerアーキテクチャを適用して、異種グラフ全体におけるニュース拡散パターンのグローバル構造的表現を捉える。
• エンコーダおよびデコーダ層における自己注意機構により、グラフ内ノード間の長距離依存関係と文脈的関係をモデル化する。
• 入力シーケンスにおける構造的順序を保持するため、位置符号化を組み込むことで表現学習を強化する。
• 各ノードの近隣コンテキストをサンプリングするために、再起動付きランダムウォーク（RWR）を用い、その結果をTransformerに供給してコンテキストに適応した符号化を実現する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのモデルは、フェイクニュース検出の文脈で、異種ソーシャルネットワークにおける局所的マルチモーダル意味とグローバル構造的パターンを効果的に捉えることができるか？
• RQ2 Transformerのエンコーダ・デコーダアーキテクチャは、エンコーダオンリー型モデルやRNNベースの代替手法と比較して、フェイクニュース検出においてどのように性能を向上させるか？
• RQ3 マルチモーダル特徴エンコーダーと位置符号化は、異種グラフにおけるフェイクニュース検出性能にどの程度寄与しているか？
• RQ4 ハイパーパrameter、特にRWRの反復回数γの変化に対して、モデルの性能はどの程度感度を示すか？
• RQ5 提案手法は、異なる拡散パターンとデータモダリティを示す多様な実世界データセットに一般化可能か？

主な発見

• HetTransformerは、PolitiFact、GossipCop、PHEMEの3つの実世界データセットにおいて、最先端の性能を達成し、既存のベースラインを上回る。
• PolitiFactデータセットでは97.5%の精度を達成し、デコーダを削除すると6.2%の性能低下を示す。
• GossipCopデータセットでは99.0%の精度に達し、デコーダを削除すると0.2%の性能低下を示す。
• PHEMEデータセットでは82.5%の精度を達成し、デコーダを削除すると1.3%の性能低下を示す。これはデコーダがグローバル構造を捉える上で極めて重要な役割を果たしていることを示している。
• アブレーションスタディの結果、位置符号化を削除すると、PolitiFactで2.5%、GossipCopで0.4%、PHEMEで2.9%の精度低下が生じ、位置符号化の重要性が顕著に示された。
• ハイパーパrameter感度分析の結果、PHEMEデータセットではlog₂(γ) ≈ 4が最適な性能をもたらし、γが小さすぎたり大きすぎたりすると性能が低下することが判明した。