[論文レビュー] From Hero to Zéroe: A Benchmark of Low-Level Adversarial Attacks

Steffen Eger, Yannik Benz|arXiv (Cornell University)|Oct 12, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用数 4

ひとこと要約

本稿では、タイポ、視覚的置換、音声的変化など、現実のユーザー行動を模倣する文字単位の摂動を焦点にした、NLPモデルに対する低レベルの敵対的攻撃の最初の大規模ベンチマーク「Zéroe」を紹介する。RoBERTaでさえも、これらの攻撃に対して顕著に失敗することを示しており、最先端のモデルが人間が考えうる、低レベルの摂動に対して重大な脆弱性を抱えていることを明らかにしている。

ABSTRACT

Adversarial attacks are label-preserving modifications to inputs of machine learning classifiers designed to fool machines but not humans. Natural Language Processing (NLP) has mostly focused on high-level attack scenarios such as paraphrasing input texts. We argue that these are less realistic in typical application scenarios such as in social media, and instead focus on low-level attacks on the character-level. Guided by human cognitive abilities and human robustness, we propose the first large-scale catalogue and benchmark of low-level adversarial attacks, which we dub Zéroe, encompassing nine different attack modes including visual and phonetic adversaries. We show that RoBERTa, NLP's current workhorse, fails on our attacks. Our dataset provides a benchmark for testing robustness of future more human-like NLP models.

研究の動機と目的

• ソーシャルメディアなどのプラットフォームで見られる現実的で低レベルの敵対的攻撃ベンチマークが、NLP分野において不足しているという問題に対処すること。
• 人間の認知的制約と知覚的耐性に基づいて、タイポ、視覚的置換、音声的シフトなどの9種類の異なる文字単位の攻撃モードを特定・分類すること。
• RoBERTaという先端的なNLPモデルが、これらの攻撃に対してどれほど耐性があるかを評価し、現実的で敵対的な条件下で失敗することを示すこと。
• 今後の研究を促進するため、標準化されたベンチマークデータセットとコードを提供すること。

提案手法

• 著者らは、内側シャッフル、フルシャッフル、侵入、母音除去、切り詰め、セグメント、タイポ、自然ノイズ、音声、視覚の9種類の低レベル攻撃モードを定義・実装し、それぞれが入力テキストを文字単位で変更する。
• 各攻撃タイプを多様な入力文に対して体系的に適用し、意味を保持しつつ、人間の誤りや難読化を模倣する表記形態を変更する。
• ベンチマークは、実際の言語的および知覚的制約に基づいて構築されており、摂動が人間にとって読みやすく現実的であることを保証する。
• RoBERTaは、全攻撃タイプにおけるゼロショット分類性能を評価し、ランダムベースラインとクリーンな入力とを比較する。
• 標準的な訓練プロトコルを用いて、Zéroeデータセットを用いた敵対的訓練を実施し、モデルの耐性が向上するかを評価する。
• 再現可能性と今後の研究を支援するため、ベンチマークは公開され、コードとデータが https://github.com/yannikbenz/zeroe で入手可能である。

実験結果

リサーチクエスチョン

• RQ1 タイポ、視覚的置換、音声的シフトなどの低レベルの文字単位の敵対的攻撃は、RoBERTaのような最先端のNLPモデルの性能にどのように影響を与えるか？
• RQ2 RoBERTaや類似モデルは、ソーシャルメディアやスパム文脈における現実的な人間の行動を模倣する攻撃に対して、どの程度脆弱であるか？
• RQ3 多様で人間が考えうる低レベルの摂動を含むセットに対して、標準的な敵対的訓練技術がモデルの耐性を効果的に回復させられるか？
• RQ4 特定の攻撃タイプが、RoBERTaの性能を著しく低下させ、アーキテクチャやアテンション機構における構造的欠陥を示唆しているか？

主な発見

• 特定の低レベル攻撃に対してRoBERTaの性能が著しく低下し、視覚的攻撃や高レベルの音声的摂動といった最も深刻な攻撃タイプでは、正確性がランダム推測のベースライン（約0.5）まで低下する。
• 視覚的攻撃モードが最も顕著な性能低下を引き起こし、高信頼度入力ではRoBERTaの正確性が0.70まで低下した。これは、視覚的に類似した文字の置換に対して深刻な脆弱性があることを示している。
• Zéroeデータセットを用いた敵対的訓練後も、RoBERTaの性能向上はわずかにしか見られず、標準的な敵対的訓練が複雑で人間が考えうる低レベル攻撃に一般化できない可能性を示唆している。
• 音声的および自然ノイズ攻撃タイプは、中程度のが、一貫した性能低下を引き起こし、高信頼度入力では正確性が約0.90～0.92まで低下した。これは、意味的・音声的類似性だけではモデルの耐性を保つのに不十分であることを示している。
• 内側シャッフルおよび母音除去攻撃は、より知覚的に妥当であるが、性能低下はそれほど深刻ではなく、正確性は0.92以上を維持した。これは、RoBERTaがこれらの特定の摂動に対してある程度耐性を保っていることを示している。
• ベンチマークは、語の境界を変更せずにテキストの視覚的または音声的形態を変える攻撃に対して、RoBERTaが特に感受性が高いことを明らかにした。これは、人間とモデルとの間で、表記の変化の処理方法に根本的な不一致があることを示している。