[論文レビュー] A survey on Adversarial Attacks and Defenses in Text.

Wenqi Wang, Benxiao Tang+3 more|arXiv (Cornell University)|Feb 12, 2019

Adversarial Robustness in Machine Learning参考文献 54被引用数 31

ひとこと要約

この論文は、自然言語処理における adversarial 攻撃と防御の包括的サーベイを提供し、NLP タスクにわたる攻撃および防御手法を分類し、テストと検証を通じた頑健性評価を提案する。本分野における主要な課題を特定し、今後の研究方向性を提示する。

ABSTRACT

Deep neural networks (DNNs) have achieved remarkable success in various tasks (e.g., image classification, speech recognition, and natural language processing). However, researches have shown that DNN models are vulnerable to adversarial examples, which cause incorrect predictions by adding imperceptible perturbations into normal inputs. Studies on adversarial examples in image domain have been well investigated, but in texts the research is not enough, let alone a comprehensive survey in this field. In this paper, we aim at presenting a comprehensive understanding of adversarial attacks and corresponding mitigation strategies in texts. Specifically, we first give a taxonomy of adversarial attacks and defenses in texts from the perspective of different natural language processing (NLP) tasks, and then introduce how to build a robust DNN model via testing and verification. Finally, we discuss the existing challenges of adversarial attacks and defenses in texts and present the future research directions in this emerging field.

研究の動機と目的

• テキストベースのディープラーニングモデルにおける adversarial 攻撃と防御の体系的理解の必要性に対応すること。
• テキスト分類やシーケンスラベル付けなどのさまざまな NLP タスクにわたる既存の adversarial 攻撃手法を特定および分類すること。
• テキストにおける adversarial パーティクルの影響に対してモデルの頑健性を向上させる目的で開発された防御戦略を分析および分類すること。
• NLP における adversarial 例を用いたテストと検証手法を通じて、モデルの頑健性を評価する方法を検討すること。
• 現在の adversarial NLP 研究におけるオープンな課題を強調し、今後の研究方向性を提案すること。

提案手法

• テキスト分類、シーケンスラベル付け、テキスト生成を含む、NLP タスクに基づいたテキストにおける adversarial 攻撃の分類体系を提案する。
• adversarial 訓練、入力変換、モデル正則化などのメカニズムに応じて防御技術を分類する。
• adversarial 例の生成と分析を通じて、モデルの頑健性を評価するためのテストと検証フレームワークを導入する。
• 語の置換、トークンレベルの操作、文レベルの編集などの、摂動タイプに応じて攻撃を分類する。
• TextAttack や TextFool などの手法を含む、勾配ベースおよび探索ベースの方法を用いたテキストにおける adversarial 例の作成法をレビューする。
• 実験的評価フレームワークを通じて、adversarial 条件下でのモデルの精度と頑健性のトレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 テキストにおける adversarial 攻撃は、さまざまな NLP タスクにわたってどのように体系的に分類できるか？
• RQ2 NLP における adversarial 攻撃に対して最も効果的な防御メカニズムは何か、またそれらの頑健性はどのように比較できるか？
• RQ3 テストと検証手法は、adversarial 輸入下での DNN モデルの信頼性をどの程度向上させることができるか？
• RQ4 現在のテキスト向け adversarial 攻撃および防御研究における主な制限要因とオープンな課題は何か？
• RQ5 NLP モデルの頑健性を向上させるために、今後最も有望な研究方向性は何か？

主な発見

• テキストにおける adversarial 攻撃は、主に意味的に整合的であるがモデルを誤導する語レベルまたは文レベルの摂動を利用している。
• adversarial 訓練や入力プリーニングなどの防御はやや成功を収めるが、適応的攻撃に対してはしばしば失敗する。
• テストと検証フレームワークは、モデルの脆弱性を特定するために不可欠であるが、複雑な NLP アーキテクチャではまだ十分に発展していない。
• さまざまな NLP タスクおよびモデルアーキテクチャにわたる adversarial 頑健性の一般化のギャップが顕著である。
• 現在の防御手法は、しばしば頑健性と自然な性能の間でトレードオフを生じており、よりバランスの取れたアプローチの必要性が浮き彫りになっている。
• 標準化されたベンチマークと評価プロトコルが不足しており、研究の再現性と手法間の公平な比較を阻害している。