[論文レビュー] Adversarial Attacks and Defense on Texts: A Survey

Aminul Huq, Mst. Tasnim Pervin|arXiv (Cornell University)|May 28, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用数 13

ひとこと要約

このサーベイは、自然言語処理における敵対的攻撃と防御技術について包括的な分析を提供し、攻撃手法を変形レベルで分類し、防御戦略をアプローチ別に分類している。離散的テキストデータ、見えない変更の問題、ベンチマークの欠如、統一された防御モデルの不在といった主な課題を特定するとともに、標準化されたツールキットとテキストにおけるユニバーサルな摂動の必要性を強調している。

ABSTRACT

Deep learning models have been used widely for various purposes in recent years in object recognition, self-driving cars, face recognition, speech recognition, sentiment analysis, and many others. However, in recent years it has been shown that these models possess weakness to noises which force the model to misclassify. This issue has been studied profoundly in the image and audio domain. Very little has been studied on this issue concerning textual data. Even less survey on this topic has been performed to understand different types of attacks and defense techniques. In this manuscript, we accumulated and analyzed different attacking techniques and various defense models to provide a more comprehensive idea. Later we point out some of the interesting findings of all papers and challenges that need to be overcome to move forward in this field.

研究の動機と目的

• テキストディープラーニングモデルにおける敵対的攻撃および防御技術を体系的かつ分類的に分析すること。
• 離散的データ、見えない変更、標準化の欠如といった点に関して、現在の敵対的NLP研究における制限と課題を特定すること。
• 感情分析、機械翻訳、質疑応答などのNLPタスクにおける既存の攻撃および防御手法を比較すること。
• 研究の焦点の不均衡を強調すること—多くの研究が攻撃に注目している一方で、防御はまだ未発展である。
• 今後の研究方向性を提案すること—統一された防御モデル、ユニバーサルな摂動、標準化されたベンチマークおよびツールキットの必要性を含む。

提案手法

• 本稿は、分類、翻訳、質疑応答タスクを含む100篇以上の研究論文を対象として、NLPにおける敵対的攻撃および防御に関する体系的文献レビューを実施している。
• 攻撃は変形レベル（語、サブワード、文字）および攻撃戦略（勾配ベース、探索ベース、ヒューリスティックベース）に基づいて分類され、HotFlip や TextAttack などの手法からの例が提示されている。
• 防御は敵対的訓練、入力変換、モデル distillation、ロバストアーキテクチャ設計の4つに分類され、スプルリングベースの攻撃に対して SEM や Pruthi et al. (2019) の例が挙げられている。
• 本研究は、攻撃レベルと防御メカニズムの分類を用いた分類法を用い、IMDB、SNLI、SQuAD、WMT などのデータセットを対象に、各手法の有効性を比較している。
• 既存のサーベイとの比較分析を通じてギャップを同定し、テキスト敵対的学習研究における標準ベンチマークやオープンソースツールキットの不在を強調している。
• 研究手法には、攻撃生成戦略および防御実装の包括的レビューに基づいた、研究結果、課題、未解決問題の批判的統合が含まれている。

実験結果

リサーチクエスチョン

• RQ1 自然言語処理における敵対的攻撃の主なカテゴリと分類体系は何か。画像ベースの攻撃とはどのように異なるか。
• RQ2 現在の防御メカニズムは、テキストにおけるさまざまなタイプの敵対的攻撃をどれほど効果的に緩和できるか。その限界は何か。
• RQ3 なぜ見えない変更はテキストでは画像よりもより困難なのか。テキストの離散的性質が敵対的攻撃設計に与える影響は何か。
• RQ4 ベンチマークの欠如や標準ツールキットの不在を含め、敵対的NLP分野の進展を妨げる主な課題は何か。
• RQ5 複数の攻撃タイプに対応できる統一された防御戦略を開発できるか。それとも、現在の防御は本質的にタスクおよび攻撃に特化しているのか。

主な発見

• ドットやスペースの追加といった文字レベルの摂動は、モデルの予測を顕著に変更することができ、わずかな変更でもモデルのロバストネスを破壊できることを示している。
• 多くの研究が攻撃戦略に注目している一方で、防御に割り当てられている研究はわずかに留まり、研究の注目が著しく不均衡であることを示している。
• テキストにおける敵対的例生成の大部分は、2段階のプロセスに従う：最も影響力の大きい語を特定し、モデルをだますために敵対的候補に置き換える。
• 既存の防御戦略では、同義語ベースやスペルミスベースの攻撃を効果的に処理できないことが多く、統一された防御フレームワークの欠如を強調している。
• テキスト敵対的学習研究における標準ベンチマークおよびオープンソースツールキットの不在は、再現性や手法間の公平な比較を妨げている。
• 複数の入力に対して効果的なユニバーサル摂動は、画像分野とは異なり、まだテキスト分野に成功裏に拡張されておらず、大きな未解決課題である。