[論文レビュー] Do Sentence Interactions Matter? Leveraging Sentence Level Representations for Fake News Classification

Vaibhav Vaibhav, Raghuram Mandyam Annasamy+1 more|arXiv (Cornell University)|Oct 27, 2019

Misinformation and Its Impacts参考文献 15被引用数 7

ひとこと要約

本稿では、文をノードとし、文間の相互作用を捉えるエッジを持つ意味的グラフとしてニュース記事を表現するグラフニューラルネットワーク（GAT）モデルを提案する。このモデルは、風刺、信頼できる、偽情報の種別において文の整合性がどのように異なるかをモデル化することで、フェイクニュース分類の性能を向上させ、2値分類において最大87.8%のF1スコアで先行モデルを上回り、ドメイン外データセットに対しても良好な一般化性能を示す。

ABSTRACT

The rising growth of fake news and misleading information through online media outlets demands an automatic method for detecting such news articles. Of the few limited works which differentiate between trusted vs other types of news article (satire, propaganda, hoax), none of them model sentence interactions within a document. We observe an interesting pattern in the way sentences interact with each other across different kind of news articles. To capture this kind of information for long news articles, we propose a graph neural network-based model which does away with the need of feature engineering for fine grained fake news classification. Through experiments, we show that our proposed method beats strong neural baselines and achieves state-of-the-art accuracy on existing datasets. Moreover, we establish the generalizability of our model by evaluating its performance in out-of-domain scenarios. Code is available at https://github.com/MysteryVaibhav/fake_news_semantics

研究の動機と目的

• 既存のフェイクニュース分類手法において文の相互作用モデリングが不足していること、特に風刺、フェイクニュース、プロパガンダといった細分化されたカテゴリに対して是正する。
• 信頼できるニュースと風刺のコンテンツの間で、文レベルの意味的相互作用が有意に異なるかどうかを調査する。
• 手動で設計された特徴量に依存せずに、長距離の文依存関係や整合性パターンを捉えるニューラルネットワークアーキテクチャを開発する。
• モデルの性能をドメイン内およびドメイン外のデータセットで評価し、一般化能力を評価する。
• アテンションマップを通じた解釈可能性を提供し、記事種別における文のクラスタリングや注目領域の違いを明らかにする。

提案手法

• 各文をノードとするドキュメントレベルのグラフを構築し、文間の関係をグラフアテンションネットワーク（GAT）によって学習されたエッジで捉える。
• 文の埋め込みにBERTベースの特徴量を入力として用い、文脈的な意味情報を保持する。
• メッセージパッシング中に隣接する文の重要性を動的に重みづけするために、マルチヘッドアテンションを適用する。
• 文のペア間の意味的類似度に基づいてエッジ重みを強化するため、文類似度（SS）モジュールを導入する。
• グラフ畳み込み層を用いてグラフ全体にわたる情報を集約し、分類用のドキュメントレベル表現を生成する。
• 複数のデータセットでマルチクラスおよびバイナリ分類タスクを対象に、クロスエントロピー損失を用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 信頼できるニュース、風刺、偽情報の記事の間で、文の相互作用は有意に異なるか？
• RQ2 GNNを用いて文レベルの相互作用をモデリングすることで、従来のシーケンスモデルを上回るフェイクニュース分類性能が達成可能か？
• RQ3 提案されたグラフベースのモデルは、学習データとテストデータが異なるソースからのドメイン外データセットに対しても一般化可能か？
• RQ4 GATモデル内のアテンション重みは、記事種別における文の整合性やクラスタリングの違いをどのように反映しているか？
• RQ5 本モデルはドメイン内およびドメイン外の両方の評価において、強力なニューラルベースラインおよび先行SOTA手法を上回ることができるか？

主な発見

• 2ヘッドアテンションを備えたGATモデルは、LUNとは異なるソースからなるRPNデータセット（ドメイン外設定）で89.1%のF1スコアを達成し、訓練データの重複なしにもかかわらず、先行SOTA（5分割交差検証による91%の正確度）を上回った。
• SLNデータセットにおける2値分類（風刺 vs. 信頼できるニュース）では、GAT + 2アテンションヘッドモデルが87.8%のF1スコアを達成し、先行SOTA（88.0%の適合率、82.0%の再現率）を上回った。
• GCN + アテンション + SSの変種は、SLNデータセットで87.8%のF1スコアを達成し、単純なGCNベースラインに比べて性能が向上していることが示された。
• アテンションマップの定性的分析から、信頼できるニュース記事では一部のキーメッセージ（例：段落の冒頭文）に注目が集中しているのに対し、風刺記事ではより均等にアテンションが分散していることが判明し、文レベルの整合性が高まっていることが示唆された。
• 4クラス分類（信頼できるニュース、風刺、フェイクニュース、プロパガンダ）において、GAT + 2アテンションヘッドモデルはLUN-devで97.82%のF1スコア、LUN-testで66.95%のF1スコアを達成し、先行SOTA（LUN-devで91.0%のF1スコア）を上回り、優れた一般化性能を示した。
• モデルは未学習のソースに対しても効果的に一般化可能である：LUNとは異なるソースであるRPNデータセットでも、訓練データの重複なしにもかかわらず高い性能を示しており、ドメインシフトに対して強い耐性を示している。