[論文レビュー] Improving Generalizability of Fake News Detection Methods using Propensity Score Matching

Bo Ni, Zhichun Guo+2 more|arXiv (Cornell University)|Jan 28, 2020

Misinformation and Its Impacts参考文献 20被引用数 13

ひとこと要約

本稿では、偽りのニュース検出における特徴選択に感受性スコアマッチング（PSM）を用いることで、交絡要因バイアスを低減し、モデルの汎化性能を向上させることを提案する。従来の文書頻度に基づく特徴選択に代えてPSMを採用することで、より因果的に関連する特徴を同定でき、ロジスティック回帰、ランダムフォレスト、SVMsなどの複数の分類器において顕著に優れたクロスデータセット性能が得られる。

ABSTRACT

Recently, due to the booming influence of online social networks, detecting fake news is drawing significant attention from both academic communities and general public. In this paper, we consider the existence of confounding variables in the features of fake news and use Propensity Score Matching (PSM) to select generalizable features in order to reduce the effects of the confounding variables. Experimental results show that the generalizability of fake news method is significantly better by using PSM than using raw frequency to select features. We investigate multiple types of fake news methods (classifiers) such as logistic regression, random forests, and support vector machines. We have consistent observations of performance improvement.

研究の動機と目的

• 偽りのニュースコーパスにおける交絡変数が特徴選択をバイアスし、モデルの汎化性能を低下させるという課題に対処する。
• 訓練データとテストデータの分布が異なる場合でも、偽りのニュース検出モデルの汎化性能を向上させること。
• 偽りのニュースに対する因果的関連性が強い特徴を特定する、因果推論に基づく特徴選択手法を開発すること。
• PSMに基づく特徴選択が、ロジスティック回帰、ランダムフォレスト、SVMsを含む多様な機械学習モデルにおいて一貫して性能向上をもたらすことを実証すること。
• オープンソースのデータセット（FakeNewsNet）とコードを用いた再現可能なフレームワークを提供し、偽りのニュース検出研究における汎化を支援すること。

提案手法

• 観察された共変量に基づいてニュース記事が偽物である確率をモデル化することで、感受性スコアマッチング（PSM）を用いて特徴選択を行う。
• ロジスティック回帰を用いて感受性スコアを推定し、特徴に基づく記事が「偽物」とラベル付けされる確率を表す。
• 類似した感受性スコアを持つ偽物と本物のニュース記事をマッチングさせ、交絡要因を低減したバランスの取れた訓練データセットを構築する。
• マッチドペア内での安定性と予測性能に基づき特徴を選択し、バランスの取れたサンプル全体で一貫して偽りのニュースに関連する特徴を優先する。
• 複数の分類器とデータセットにおいて、PSMに基づく特徴選択とベースラインの文書頻度選択を比較する。
• クロスデータセットのテストにおいて、汎化能力を測定するためにAUROCスコアを用いてモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 感受性スコアマッチング（PSM）は、異なるデータ分布間で偽りのニュース検出モデルの汎化性能を向上させることができるか？
• RQ2 PSMに基づく特徴選択は、従来の文書頻度ベースの特徴選択と比較して、クロスデータセット性能においてどのように異なるか？
• RQ3 PSMと文書頻度がそれぞれ選択する特徴の種類は何か？ それらの汎化特性にはどのような相違があるか？
• RQ4 PSMの使用により、データセット固有のバイアスに敏感でない、より安定的で因果的に関連性の高い特徴セットが得られるか？
• RQ5 PSMに基づく特徴選択は、ロジスティック回帰、ランダムフォレスト、SVMsを含む多様な機械学習モデルにおいて一貫して性能を向上させることができるか？

主な発見

• PSMに基づく特徴選択はモデルの汎化性能を顕著に向上させ、PolitiFactで訓練した場合のGossipCopデータセットにおけるAUROCスコアがベースラインの0.56から0.68に上昇した。
• PolitiFactデータセットでは、PSM手法がAUROC 0.67を達成した一方で、ベースラインは0.63であったため、複数のデータセットで一貫した改善が確認された。
• PSMが選択した上位特徴（例：'confirmed'、'inside'、'makes'、'leaves'）はより汎化可能で、偽りのニュースの構造的パターンを反映しているのに対し、文書頻度は'obama' や 'trump' といったトピック固有の用語を選択している。
• 特徴数が少ない場合にPSMとベースラインの性能差が最も顕著に現れ、PSMがより情報量が多く安定した特徴を同定していることが示された。
• PSMによる改善は、ロジスティック回帰、ランダムフォレスト、SVMsを含む複数の分類器で一貫しており、その堅牢性が確認された。
• 実証的分析により、PSMはデータセット固有のバイアスを低減することが確認された。PSMで選択された特徴は、特定のコーパスの支配的トピックに依存しにくくなっている。