[論文レビュー] Are We Safe Yet? The Limitations of Distributional Features for Fake News Detection.

Tal Schuster, Roei Schuster+2 more|arXiv (Cornell University)|Aug 26, 2019

Misinformation and Its Impacts参考文献 6被引用数 16

ひとこと要約

本稿は、文語的特徴（言語的パターンに依存する）を用いた手法が、悪意ある使用と正当な使用を区別できないことを示している。大規模言語モデル（LM）は意図に関係なく一貫したスタイルのテキストを生成するためである。著者らは、機械生成の誤情報と無害なLM出力が文語的に区別できないことを示す2つのベンチマークを提案し、非文語的検出手法の開発を促している。

ABSTRACT

Recent developments in neural language models (LMs) have raised concerns about their potential misuse for automatically spreading misinformation. In light of these concerns, several studies have proposed to detect machine-generated fake news by capturing their stylistic differences from human-written text. These approaches, broadly termed stylometry, have found success in source attribution and misinformation detection in human-written texts. However, in this work, we show that stylometry is limited against machine-generated misinformation. While humans speak differently when trying to deceive, LMs generate stylistically consistent text, regardless of underlying motive. Thus, though stylometry can successfully prevent impersonation by identifying text provenance, it fails to distinguish legitimate LM applications from those that introduce false information. We create two benchmarks demonstrating the stylistic similarity between malicious and legitimate uses of LMs, employed in auto-completion and editing-assistance settings. Our findings highlight the need for non-stylometry approaches in detecting machine-generated misinformation, and open up the discussion on the desired evaluation benchmarks.

研究の動機と目的

• 文語的技法が機械生成誤情報 reliably 検出可能かどうかを調査すること。
• 言語モデルが偽物の情報を生成する際と無害なコンテンツを生成する際とで、異なるスタイル的パターンを生成するかどうかを検討すること。
• LMが自動的に誤情報を広めるために悪用されるおそれがあるという懸念が高まっていることに応えること。
• 実際のLM支援環境での検出システムの評価に役立つベンチマークを構築・公開すること。
• 将来的な検出研究において非文語的アプローチを推奨すること。

提案手法

• 著者らは、実世界のLM応用を模倣する2つの評価ベンチマークを構築した：自動補完と編集支援。
• 同じ入力プロンプトとモデル設定のもとで、正当な目的と悪意ある目的の両方でLMからテキストを収集した。
• 語彙的多様性、構文的複雑さ、品詞のパターンといった文語的特徴を抽出し、LM出力間で比較した。
• 統計的分析を用いて、スタイルの違いが悪意あると非悪意あるLM使用を信頼性高く区別できるかどうかを評価した。
• 実用的導入状況を反映させるようにベンチマークを設計し、生態的妥当性を確保した。
• 既存の文語的検出モデルがこれらのベンチマーク上でどのように機能するかを評価し、その限界を特定した。

実験結果

リサーチクエスチョン

• RQ1 同じモデル行動が悪意ある使用と非悪意ある使用の両方で見られる状況下で、文語的特徴が機械生成誤情報 reliably 検出可能か？
• RQ2 LMが偽物の情報を生成する際と正当なコンテンツを生成する際とで、どの程度スタイルが明確に異なるか？
• RQ3 自動補完や編集支援といった実世界のLMアプリケーションは、文語的検出による誤情報検出可能性にどのように影響するか？
• RQ4 現在の文語的アプローチには、悪意あると非悪意あるLM出力を区別する際にどのような限界があるか？
• RQ5 将来的な機械生成誤情報検出システムを公平に評価するには、どのような評価ベンチマークが必要か？

主な発見

• 意図に関係なく一貫したスタイル出力を示すため、文語的手法はLMの悪意ある使用と正当な使用を区別できない。
• 提案された2つのベンチマークは、誤情報生成用の機械生成テキストと無害な応用のテキストがほぼ同一のスタイル的特徴を示すことを示している。
• 同じモデルとプロンプトを使用しても、悪意ある出力と非悪意ある出力の間で顕著なスタイル的差異は認められなかった。
• 既存の文語的検出システムは、新しいベンチマーク上で劣悪な性能を示しており、実世界のLM悪用への一般化能力に欠けていることが示唆された。
• 本研究は、機械生成誤情報の同定に非文語的検出アプローチが必要であると結論づけた。
• ベンチマークは、将来的な研究における、意図を認識できる、言語的スタイルを超えた強固な検出システムの基盤を提供する。