[論文レビュー] How Good Are SOTA Fake News Detectors

Matthew Iceland|arXiv (Cornell University)|Aug 4, 2023

Misinformation and Its Impacts被引用数 6

ひとこと要約

本研究では、SOTA（最先端）のフェイクニュース検出モデルの現実世界における頑健性を評価するために、従来の機械学習モデル（例：ランダムフォレスト、XGBoost）とディープラーニングモデル（例：BERT、RoBERTa）を、分布外データおよびAI生成フェイクニュースの文脈で比較した。SOTAのトランスフォーマーは、ドメイン内データでは高い正確性を達成するが、未学習データへの一般化能力において、従来モデルが顕著に優れている。これは、ベンチマークスコアが低くても、実世界での展開においてより信頼性が高い可能性を示唆している。

ABSTRACT

Automatic fake news detection with machine learning can prevent the dissemination of false statements before they gain many views. Several datasets labeling statements as legitimate or false have been created since the 2016 United States presidential election for the prospect of training machine learning models. We evaluate the robustness of both traditional and deep state-of-the-art models to gauge how well they may perform in the real world. We find that traditional models tend to generalize better to data outside the distribution it was trained on compared to more recently-developed large language models, though the best model to use may depend on the specific task at hand.

研究の動機と目的

• SOTAフェイクニュース検出モデルが、トレーニング分布外のデータにどの程度一般化できるかを評価すること。
• 従来の機械学習モデルとディープラーニングモデル（例：BERT）が、実世界の展開環境において、どのように性能を発揮するかを評価すること。
• ベンチマークデータセットで高い正確性を示すディープラーニングモデルの性能が、実用的状況においても頑健性を有しているかどうかを調査すること。
• 従来モデルの解釈可能性と計算効率が、ピークパフォーマンスが低いにもかかわらず、利点をもたらすかどうかを検討すること。
• データ分布のシフトおよびAI生成コンテンツが、検出器の信頼性に与える影響を検証すること。

提案手法

• 5つの公開フェイクニュースデータセットを用いて、6種類の古典的機械学習モデル（例：ランダムフォレスト、XGBoost、KNN）と6種類のトランスフォーマー基盤モデル（例：BERT、RoBERTa）を訓練した。
• 一般化能力を評価するために、ドメイン内テストセットと、異なるドメイン（例：政治、健康）からのサンプル外データセットの両方でモデルを評価した。
• GANベースのニュース生成器であるGroverを用いて、AI生成フェイクニュースのテストを実施し、スタイルの変化に対する頑健性を評価した。
• 計算負荷を軽減し、テキストレベルの特徴に焦点を当てるために、入力として記事のタイトルや単一のニュース文のみを用いた。
• 複数のデータセットと評価シナリオにおいて、正確性とF1スコアを用いてモデルのパフォーマンスを比較した。
• 標準的なNLPパイプライン（TF-IDFと文脈的埋め込み）を採用し、トランスフォーマー・モデルについては単一GPUでの微調整を実施した。

Figure 1: Out-of-sample performance matrices for ELECTRA (top) and XLNet (bottom)

実験結果

リサーチクエスチョン

• RQ1 フェイクニュース検出モデルは、異なるドメインからのサンプル外データセットでどの程度の性能を示すか？
• RQ2 フェイクニュース検出モデルは、トレーニングデータとは異なるスタイルを持つAI生成フェイクニュースをどの程度正確に特定できるか？
• RQ3 従来の機械学習モデルとディープラーニングモデルは、一般化能力および頑健性の観点で、どのように比較されるか？
• RQ4 既存のデータセットにおける高いベンチマークスコアが、現実世界での信頼性をどの程度反映しているか？
• RQ5 従来モデルは、大規模言語モデルに比べて、フェイクニュース検出のより頑健な基盤を提供できるか？

主な発見

• ランダムフォレストとXGBoostといった従来モデルは、それぞれ86.70%および88.72%の正確性をサンプル外データセットで達成し、ディープラーニングモデルを顕著に上回った。
• GroverによるAI生成フェイクニュースでは、大多数のトランスフォーマー・モデルが運試しレベル（約50%の正確性）にとどまり、D5データセットでのみCT-BERTが69.53%に達した。
• BERTとRoBERTaモデルはドメイン内での正確性が高く（例：FakeNewsNetでは91.37%）、しかし分布外データでは性能が著しく低下した。
• 単一の従来モデルが全データセットで最も優れた性能を発揮したわけではなかったが、ランダムフォレストは複数のサンプル外評価で一貫した性能を示した。
• 従来モデルはディープラーニングモデルよりも一般化能力に優れており、ベンチマークでのピーク正確性が低くても、フェイクニュースのより一般化可能なパターンを学習している可能性がある。
• 複数の従来モデルをアンサンブル化することで、大規模言語モデルに代わる、より頑健でスケーラブルかつ解釈可能な代替手法が得られる可能性がある。

Figure 2: Out-of-sample performance matrices for AdaBoost (top) and XGBoost (bottom)