[論文レビュー] Fake News in Sheep's Clothing: Robust Fake News Detection Against LLM-Empowered Style Attacks

Jiaying Wu, Guo, Jiafeng+1 more|arXiv (Cornell University)|Oct 16, 2023

Misinformation and Its Impacts参考文献 52被引用数 5

ひとこと要約

本稿では、LLM駆動のニュース再構成とコンテンツ中心の真実性付与を用いて、LLM駆動のスタイル攻撃に対しても高い精度を維持できるスタイルに依存しないフェイクニュース検出手法であるSheepDogを提案する。多様なスタイルの再構成に対して予測の一貫性を強制し、LLMから要約された事実確認の根拠を抽出することで、敵対的スタイル攻撃下でもベースライン比最大38%高いF1スコアを達成し、3つのベンチマークデータセットにおいても高い耐性と解釈可能性を示した。

ABSTRACT

It is commonly perceived that fake news and real news exhibit distinct writing styles, such as the use of sensationalist versus objective language. However, we emphasize that style-related features can also be exploited for style-based attacks. Notably, the advent of powerful Large Language Models (LLMs) has empowered malicious actors to mimic the style of trustworthy news sources, doing so swiftly, cost-effectively, and at scale. Our analysis reveals that LLM-camouflaged fake news content significantly undermines the effectiveness of state-of-the-art text-based detectors (up to 38% decrease in F1 Score), implying a severe vulnerability to stylistic variations. To address this, we introduce SheepDog, a style-robust fake news detector that prioritizes content over style in determining news veracity. SheepDog achieves this resilience through (1) LLM-empowered news reframings that inject style diversity into the training process by customizing articles to match different styles; (2) a style-agnostic training scheme that ensures consistent veracity predictions across style-diverse reframings; and (3) content-focused veracity attributions that distill content-centric guidelines from LLMs for debunking fake news, offering supplementary cues and potential intepretability that assist veracity prediction. Extensive experiments on three real-world benchmarks demonstrate SheepDog's style robustness and adaptability to various backbones.

研究の動機と目的

• 信頼できるニュースソースを模倣するLLM駆動のスタイル攻撃に対して、最先端のテキストベースのフェイクニュース検出器が脆弱であるという問題に対処すること。
• ライティングスタイルではなくコンテンツの真実性に注目することで、スタイルの変化に対して耐性を持つ検出モデルを開発すること。
• 事実確認の根拠を用いてLLMからコンテンツ中心の真実性付与を抽出することで、解釈可能性を向上させること。
• 同じニュースコンテンツの多様なスタイルの再構成において予測の一貫性を保証する学習パラダイムを確立すること。

提案手法

• SheepDogは、スタイル指向のプロンプトを用いてLLM駆動のニュース再構成を実行し、各記事の信頼性あり・なしの異なるトーンを持つ複数のスタイル変種を生成する。
• オリジナル記事とその再構成バージョン間で予測の一貫性を最大化することで、スタイル依存の信号に依存しないスタイルに依存しない学習を実施する。
• 事実確認の根拠を事前に定義し、LLMにそれらを基準にニュースを評価させることで、真実性に関するテキスト的説明を生成するコンテンツ中心の真実性付与を抽出する。
• これらの付与は、モデルの教師信号として擬似ラベルに変換され、コンテンツ中心の学習を強化する。
• 微調整された言語モデルバックボーンを用い、真実性予測と付与学習を統合するマルチタスク学習目的関数を採用する。
• 一般化と耐性を確保するため、複数のLMバックボーンと再構成プロンプトの組み合わせでアプローチを評価する。

Figure 1. A motivating example of LLM-empowered style attacks on text-based fake news detectors, where fake news is camouflaged with the style of reliable news publishers.

実験結果

リサーチクエスチョン

• RQ1 最先端のテキストベースのフェイクニュース検出器は、信頼できるニュースソースを模倣するLLM駆動のスタイル攻撃に対してどれほど脆弱であるか？
• RQ2 LLMを用いてニュースコンテンツを多様なライティングスタイルに再構成した場合でも、フェイクニュース検出器は高い性能を維持できるか？
• RQ3 LLMから抽出したコンテンツ中心の真実性付与は、検出の耐性と解釈可能性をどの程度向上できるか？
• RQ4 同じコンテンツの多様なスタイルの再構成において予測の一貫性を強制することで、より信頼性が高くスタイルに依存しない検出が可能になるか？
• RQ5 提案手法は、異なるニュース再構成プロンプトとモデルアーキテクチャに対してどの程度汎用性を示すか？

主な発見

• SheepDogは、LLM駆動のスタイル攻撃下でF1スコアの低下を相対的に38%まで抑えることができ、RoBERTaや他のベースラインを著しく上回った。
• PolitiFact、GossipCop、LUNの各データセットにおいて、それぞれF1スコア80.99、74.45、85.63を達成し、一貫した優位性を示した。
• アブレーションスタディの結果、LLM駆動の再構成またはコンテンツ中心の付与を削除すると、性能が著しく低下し、両者の重要性が確認された。
• 4つの異なる再構成プロンプトの組み合わせ（R1–R4）においても、SheepDogは安定した性能を維持しており、強力な一般化性と耐性を示した。
• 事例スタディにより、SheepDogはオリジナル版および攻撃的に再構成されたフェイクニュースを正しく識別できる一方、RoBERTaベースラインはスタイルに隠蔽されたバージョンでは失敗した。
• モデルの上位真実性付与は、コンテンツ内の誤りや誤解を招く主張を指しており、予測の解釈可能な根拠を提供している。

Figure 2. Overview of our SheepDog style-agnostic fake news detector.