[論文レビュー] Defending Against Neural Fake News

Rowan Zellers, Ari Holtzman+5 more|arXiv (Cornell University)|May 29, 2019

Misinformation and Its Impacts参考文献 35被引用数 89

ひとこと要約

本論文は Grover を紹介する。現実的なニューラル偽ニュースを生成できる制御可能なテキスト生成モデルと、そのような内容を検出する discriminators のスイートを提供し、ジェネレーターが有効な検出器になり得ることを示し、アーティファクトと倫理的リリース戦略を分析する。

ABSTRACT

Recent progress in natural language generation has raised dual-use concerns. While applications like summarization and translation are positive, the underlying technology also might enable adversaries to generate neural fake news: targeted propaganda that closely mimics the style of real news. Modern computer security relies on careful threat modeling: identifying potential threats and vulnerabilities from an adversary's point of view, and exploring potential mitigations to these threats. Likewise, developing robust defenses against neural fake news requires us first to carefully investigate and characterize the risks of these models. We thus present a model for controllable text generation called Grover. Given a headline like `Link Found Between Vaccines and Autism,' Grover can generate the rest of the article; humans find these generations to be more trustworthy than human-written disinformation. Developing robust verification techniques against generators like Grover is critical. We find that best current discriminators can classify neural fake news from real, human-written, news with 73% accuracy, assuming access to a moderate level of training data. Counterintuitively, the best defense against Grover turns out to be Grover itself, with 92% accuracy, demonstrating the importance of public release of strong generators. We investigate these results further, showing that exposure bias -- and sampling strategies that alleviate its effects -- both leave artifacts that similar discriminators can pick up on. We conclude by discussing ethical issues regarding the technology, and plan to release Grover publicly, helping pave the way for better detection of neural fake news.

研究の動機と目的

• ニューラル偽情報の脅威モデリングを動機づけ、攻撃者が現実的な偽ニュースを生成する可能性を研究する。
• Grover のような全メタデータ付きの記事を生成できる制御可能なジェネレータを開発し、対立的シナリオを模擬する。
• 検出戦略を探究し、実ニュースと機械作成ニュースを識別する能力を評価する、半教師あり設定を含む。
• 生成過程からのアーティファクト（露出バイアス、サンプリング戦略）を分析し、検出器が利用する要素を議論し、安全なリリース倫理を検討する。

提案手法

• Grover を提案する。大規模 RealNews コーパスで訓練された Transformer ベースのジェネレータで、複数フィールドのニュース記事（ドメイン、日付、著者、見出し、本文）を生成できる。
• フィールド間の結合分布を分解し、固定されたフィールド順序を用いて効率的なサンプリングを可能にすることで記事生成をモデル化する（2）。
• フィールド分割（F1, F2）とクロスエントロピー損失を用いて、柔軟なフィールド条件付けを学習する条件付き生成を可能にするよう Grover を訓練する（3-4）。
• デコード戦略（Nucleus/ top-p サンプリング）を探究し、生成のばらつきを制御し、検出器が利用するアーティファクトを研究する。
• Grover を判別器として、GPT-2、BERT、FastText を用いた識別を、非対にな設定と対にな設定の両方で評価し、実世界展開の半教師付きレジームを含む。
• 検出に対する露出バイアスと分散低減効果を分析し、Grover が生成した内容のパープレキシティと人間の妥当性判断を測定する。

実験結果

リサーチクエスチョン

• RQ1 制御可能なジェネレーターは、豊富なメタデータを伴う現実的なニューラル偽ニュースを生成できるのか？
• RQ2 検出に最も効果的なアプローチは何か（検出機能を持つジェネレータも含む）？
• RQ3 生成アーティファクト（露出バイアスやデコoding バリエーション）は検出可能性にどう影響し、堅牢な評価のためにデコードをどう調整すべきか？
• RQ4 偽情報対策のために強力な生成モデルをリリース・利用する際の安全で倫理的な戦略は何か？

主な発見

• 実データと Grover 生成データを区別する判別器は高い精度を達成し、Grover-Mega ベースの検出器は自分の生成物を識別するのに約 92% の精度に達する。
• 検出器としての Grover は、対無し/対有の設定を通じて他のモデル（BERT、GPT-2、FastText）を上回り、特にジェネレータのサイズに合わせた場合に優れている。
• 露出バイアスとデコード戦略（top-p サンプリング）は検出可能なアーティファクトを生み出し、トップ-p が最も識別が難しい甘いスポットが存在する（おおよそ 0.94–0.98）。
• Grover を用いて Grover 自身の生成物を検出することは、ジェネレータが拡大されても依然として高い有効性を示し、防衛を支援する強力なジェネレータのリリースの価値を強調している。
• 半教師付き設定は豊富な実ニュースデータと限られた生成データを活用して堅牢な検出性能を達成でき、ドメイン内の例が不足している場合には弱教師付きが発見を助ける。