[論文レビュー] Adversarial Active Learning based Heterogeneous Graph Neural Network for Fake News Detection

Yuxiang Ren, Bo Wang+2 more|arXiv (Cornell University)|Jan 27, 2021

Misinformation and Its Impacts参考文献 51被引用数 4

ひとこと要約

本稿では、階層的アテンションメカニズムを用いて異種情報ネットワーク（HINs）をモデル化し、高価値のトレーニングサンプルを照会するための敵対的セレクタを統合した、フェイクニュース検出を目的とした新しい敵対的アクティブラーニングベースの異種グラフニューラルネットワークAA-HGNNを提案する。このフレームワークは、極めて少ないラベル付き例での学習でも最先端の性能を達成し、実世界のデータセットにおいて、テキストのみのモデルや標準的なGNNモデルを最大9%のF1スコア向上で上回る。

ABSTRACT

The explosive growth of fake news along with destructive effects on politics, economy, and public safety has increased the demand for fake news detection. Fake news on social media does not exist independently in the form of an article. Many other entities, such as news creators, news subjects, and so on, exist on social media and have relationships with news articles. Different entities and relationships can be modeled as a heterogeneous information network (HIN). In this paper, we attempt to solve the fake news detection problem with the support of a news-oriented HIN. We propose a novel fake news detection framework, namely Adversarial Active Learning-based Heterogeneous Graph Neural Network (AA-HGNN) which employs a novel hierarchical attention mechanism to perform node representation learning in the HIN. AA-HGNN utilizes an active learning framework to enhance learning performance, especially when facing the paucity of labeled data. An adversarial selector will be trained to query high-value candidates for the active learning framework. When the adversarial active learning is completed, AA-HGNN detects fake news by classifying news article nodes. Experiments with two real-world fake news datasets show that our model can outperform text-based models and other graph-based models when using less labeled data benefiting from the adversarial active learning. As a model with generalizability, AA-HGNN also has the ability to be widely used in other node classification-related applications on heterogeneous graphs.

研究の動機と目的

• フェイクニュース検出におけるラベル付きデータの制限に取り組むこと。特に、専門家によるラベリングのコストとタイムリーさの制約を考慮する。
• ニュース指向の異種情報ネットワーク（News-HIN）において、フェイクニュース検出をノード分類問題として定式化し、作成者、トピック、記事およびそれらの関係性を統合する。
• データ不足下でもモデル性能を向上させるために、アクティブラーニングと敵対的トレーニングを統合し、ラベル付けに最も適した情報をもつサンプルを効果的に選択する。
• フェイクニュース検出にとどまらず、異種グラフ上の多様なノード分類タスクに適用可能な汎用的なフレームワークを構築すること。

提案手法

• モデルは、異種ネットワーク内の異なる種類のノードに注目することで、構造的および意味的異種性を保持したまま、ノード表現を学習する階層的グラフアテンションネットワーク（HGAT）を採用する。
• 敵対的アクティブラーニングフレームワークを導入し、分類器と競争的に学習するセレクタネットワークを設計することで、ラベル付けに適した最も不確実性の高いまたは情報量の多いノードを特定する。
• 期待される情報量を最大化する微分可能でない照会戦略を用い、アクティブラーニングパイプラインのエンドツーエンド学習を可能にする。
• ノード分類のためのグラフニューラルネットワークと、照会選択のためのセレクタを同時に最適化することで、データ不足下でも効率的かつ効果的なラベリングを実現する。
• ニュース記事からのテキスト特徴量を埋め込み、HINからの構造的表現と統合することで、ノード埋め込みを豊かにする。
• ラベル付きノードにおける交差エントロピー損失を用いて、エンドツーエンドで学習を行い、高価値の照会を通じて反復的にトレーニングセットを拡張するアクティブラーニングループを実装する。

実験結果

リサーチクエスチョン

• RQ1 階層的アテンションメカニズムを備えた異種グラフニューラルネットワークは、フェイクニュース検出における多様なエンティティと関係性を効果的にモデル化できるか？
• RQ2 ラベル付きデータが限られるフェイクニュース検出において、敵対的アクティブラーニングはモデル性能をどのように向上させるか？
• RQ3 提案された敵対的セレクタは、エントロピーに基づくまたはランダム選択といったヒューリスティックな照会戦略を上回るか？特に、ラベル付けに適した情報をもつサンプルを効果的に選択できるか？
• RQ4 HINとアクティブラーニングを統合することで、検出精度を維持または向上させつつ、必要なラベル付き例の数をどの程度削減できるか？
• RQ5 提案されたフレームワークは、フェイクニュース検出にとどまらず、異種グラフ上の他のノード分類タスクにも一般化可能か？

主な発見

• AA-HGNNは、テキストのみのモデルや標準的なGNN（例：GCN、GAT）を上回り、1,200個のラベル付きノードで学習した場合、ベースライン分類器が2,800個を必要とするのに対し、F1スコアで最大9%高い性能を達成する。
• 敵対的アクティブラーニング戦略は性能を顕著に向上させる。2,800個のトレーニングノードを用いた場合、アクティブラーニングを導入しない同じモデルと比較して、AA-HGNNは9%の性能向上を達成する。
• 敵対的セレクタは、エントロピーに基づくまたはランダム選択戦略よりも一貫して高品質なサンプルを照会する。全照会バッチにわたり、優れたかつ安定した性能向上が確認された。
• HGATベースのモデルは、均一なGNN（GCN、GAT）を上回る性能を示す。PolitiFactデータセットでは、GCNは0.9688の精度を達成したが、リコールはたった0.0246にとどまり、フェイクニュースの検出が著しく不十分であることが示された。
• AA-HGNNは、低データ比（例：トレーニングデータの20%）でも強固な性能を維持する。他のモデルが一般化に失敗する状況でも、データ不足下での頑健性を示した。
• モデルは、そのアーキテクチャとトレーニングパラダイムのおかげで、フェイクニュース検出にとどまらず、異種グラフ上の他のノード分類タスクに対しても良好に一般化される。これは、フェイクニュース検出をはるかに超える幅広い応用可能性を示唆している。