[論文レビュー] MALCOM: Generating Malicious Comments to Attack Neural Fake News Detection Models

Thai Le, Suhang Wang+1 more|arXiv (Cornell University)|Sep 1, 2020

Misinformation and Its Impacts参考文献 39被引用数 4

ひとこと要約

本稿では、最先端のニューラルフェイクニュース検出モデルをだますために、現実的でコメントベースの攻撃を生成するエンドツーエンドの敵対的コメント生成フレームワークMalcomを提案する。Malcomは、白箱設定および黒箱設定において、それぞれ94%および93.5%の攻撃成功率を達成しており、検出器が本物のニュースをフェイクと誤分類する、またはフェイクニュースを本物と誤分類するように、巧妙で一貫性のあるコメントを生成することで実現している。

ABSTRACT

In recent years, the proliferation of so-called "fake news" has caused much disruptions in society and weakened the news ecosystem. Therefore, to mitigate such problems, researchers have developed state-of-the-art models to auto-detect fake news on social media using sophisticated data science and machine learning techniques. In this work, then, we ask "what if adversaries attempt to attack such detection models?" and investigate related issues by (i) proposing a novel threat model against fake news detectors, in which adversaries can post malicious comments toward news articles to mislead fake news detectors, and (ii) developing MALCOM, an end-to-end adversarial comment generation framework to achieve such an attack. Through a comprehensive evaluation, we demonstrate that about 94% and 93.5% of the time on average MALCOM can successfully mislead five of the latest neural detection models to always output targeted real and fake news labels. Furthermore, MALCOM can also fool black box fake news detectors to always output real news labels 90% of the time on average. We also compare our attack model with four baselines across two real-world datasets, not only on attack performance but also on generated quality, coherency, transferability, and robustness.

研究の動機と目的

• ユーザーが生成したコメントを通じた敵対的攻撃に対して、最先端のニューラルフェイクニュース検出モデルの脆弱性を調査すること。
• 既存の攻撃が記事のタイトルや内容の操作に限定しているのに対し、ソーシャルメディアのコメントには焦点を当てていないというギャップを埋めること。
• 標的記事の所有権が不要な状態で、現実的で一貫性があり、非常に効果的な敵対的コメントを生成する実用的でエンドツーエンドのフレームワークを開発すること。
• 白箱および黒箱設定の両方で攻撃の成功を評価し、移行性および防御メカニズム下での耐性を検証すること。
• 悪意あるコメントがフェイクニュースの拡散だけでなく、本物のニュースの低評価にも使われることを示し、攻撃の社会的影響を拡大すること。

提案手法

• Malcomは、意味的に一貫性があり、実際のユーザーのコメントとスタイルが一致するコメントを生成するために、スタイルに配慮した生成器を備えた条件付き変分オートエンコーダ（CVAE）を採用している。
• 標的記事を特定のラベル（本物またはフェイク）として誤分類させる確率を最大化するように最適化される、標的攻撃モジュールを統合している。
• 記事のトピックと標的ラベルに基づいて関連性が高く、品質の高い初期コメントを選択するため、CopyCatを用いたリtrievalベースの初期コメント選択を実施している。
• スタイルモジュールは言語的品質と一貫性を向上させ、攻撃モジュールは誤検出率を最大化するように設計されており、両モジュールを同時に最適化している。
• 攻撃は白箱および黒箱設定の両方で実装されており、5つの最先端のフェイクニュース検出モデルを対象に移行性がテストされている。
• アブレーションスタディにより、スタイルモジュールと攻撃モジュールの両方が必要であることが確認されており、いずれかを削除すると一貫性または攻撃成功率が著しく低下することが示されている。

実験結果

リサーチクエスチョン

• RQ1 最先端のニューラルフェイクニュース検出器をだますために、現実的で効果的な敵対的コメントを生成することは可能か？
• RQ2 Malcomは、既存のベースラインと比較して、白箱および黒箱のフェイクニュース検出モデルに対してどれほど効果的に攻撃できるか？
• RQ3 Malcomが生成するコメントは、一貫性と関連性のおかげで、防御メカニズムに検出されにくくなる程度はどの程度か？
• RQ4 攻撃は本物のニュースをフェイクと誤分類し、フェイクニュースを本物と誤分類するという、双方向の攻撃能力を有しているか？
• RQ5 Malcomのスタイルモジュールと攻撃モジュールは、それぞれ独立して、および共同で、全体の攻撃性能およびコメント品質にどのように寄与しているか？

主な発見

• Malcomは、5つの最先端のフェイクニュース検出モデルを、白箱設定で平均94%の攻撃成功率で標的ラベル（本物またはフェイク）として誤分類させることに成功した。
• 黒箱設定では、Malcomは平均90%の攻撃成功率を達成しており、複数のモデル間での高い移行性を示している。
• GossipCopデータセットでは、白箱設定で98.1%の攻撃成功率を記録し、攻撃性能およびコメント品質の両面で、すべてのベースラインを上回った。
• アブレーションスタディにより、スタイルモジュールを削除すると一貫性と品質が低下する一方、攻撃モジュールを削除すると攻撃成功率が著しく低下することが確認され、両モジュールが不可欠であることが証明された。
• Malcomが生成するコメントは、ベースライン手法と比較して著しく一貫性が高く多様性に富んでおり、ROUGE-LおよびBERTScoreのスコアが高く、標的記事との意味的整合性が優れていることが示された。
• 品質が低く、関連性のないコメントをフィルタリングする強力な防御システム下でも、Malcomは高い攻撃成功率を維持しており、検出メカニズムに対して耐性があることが示された。