[論文レビュー] Towards a Robust Deep Neural Network in Texts: A Survey

Wenqi Wang, Lina Wang+3 more|arXiv (Cornell University)|Feb 12, 2019

Adversarial Robustness in Machine Learning参考文献 256被引用数 28

ひとこと要約

本サーベイは、自然言語処理における adversarial 攻撃と防御の包括的分析を提供し、摂動単位と NLP タスクに基づいてテキスト adversarial 技術を分類する。テキストデータにおける既知および未知の adversarial 脅威に対してより頑健な深層ニューラルネットワークの開発を支援するための分類法を提唱する。

ABSTRACT

Deep neural networks (DNNs) have achieved remarkable success in various tasks (e.g., image classification, speech recognition, and natural language processing (NLP)). However, researchers have demonstrated that DNN-based models are vulnerable to adversarial examples, which cause erroneous predictions by adding imperceptible perturbations into legitimate inputs. Recently, studies have revealed adversarial examples in the text domain, which could effectively evade various DNN-based text analyzers and further bring the threats of the proliferation of disinformation. In this paper, we give a comprehensive survey on the existing studies of adversarial techniques for generating adversarial texts written by both English and Chinese characters and the corresponding defense methods. More importantly, we hope that our work could inspire future studies to develop more robust DNN-based text analyzers against known and unknown adversarial techniques. We classify the existing adversarial techniques for crafting adversarial texts based on the perturbation units, helping to better understand the generation of adversarial texts and build robust models for defense. In presenting the taxonomy of adversarial attacks and defenses in the text domain, we introduce the adversarial techniques from the perspective of different NLP tasks. Finally, we discuss the existing challenges of adversarial attacks and defenses in texts and present the future research directions in this emerging and challenging field.

研究の動機と目的

• 英語および中国語の両方における adversarial テキストを生成するための既存の adversarial 技術を体系的に分類すること。
• テキストベースの深層ニューラルネットワークにおける adversarial 例に対抗する防御手法を分析すること。
• 現在の研究におけるギャップを特定し、より頑健な NLP モデルを構築するための今後の方向性を提案すること。
• 摂動単位と NLP タスクに基づいて adversarial 攻撃の統一された分類法を提供すること。
• 進化する adversarial 脅威に対して耐性を持つ DNN ベースのテキスト解析ツールの開発を促進すること。

提案手法

• 本論文は、語彙レベル、文字レベル、文レベルなどの摂動単位の粒度に基づいて adversarial 攻撃手法を分類する。
• テキスト分類、センチメント分析、機械翻訳などの異なる NLP タスクにおける応用に応じて adversarial 方法を整理する。
• 最小限で目に見えない変更で adversarial テキストを生成するために使用される white-box および black-box 攻撃戦略をレビューする。
• adversarial 訓練、入力の浄化、モデル正則化などの防御機構を評価し、頑健性を向上させる。
• 著者たちは、さまざまなベンチマークデータセットとモデルアーキテクチャを対象に、これらの防御戦略の有効性を分析する。
• 分類法は、adversarial NLP 領域における 150 件以上の最新研究を体系的レビューおよび統合することで構築された。

実験結果

リサーチクエスチョン

• RQ1 語彙レベル、文字レベル、文レベルなどの異なる摂動単位は、テキストにおける adversarial 攻撃の成功率にどのように影響するか？
• RQ2 さまざまな NLP タスク間で、adversarial 攻撃戦略の主な違いは何か？
• RQ3 テキストにおける adversarial 例を緩和するために、どの防御技術が最も効果的であり、どのような条件下で効果を発揮するか？
• RQ4 中国語テキストにおける adversarial 例は、英語テキストと比較して攻撃成功率や摂動パターンの点でどのように異なるか？
• RQ5 テキスト向けにより頑健な深層ニューラルネットワークを構築するうえでの主な未解決課題と今後の研究方向性は何か？

主な発見

• テキストにおける adversarial 攻撃は非常に効果的であり、最小限の摂動で一部のベンチマークで 90% を超える成功率を示している。
• 語彙レベルと文字レベルの摂動が最も一般的な攻撃戦略であり、文字レベルの攻撃はよりすばやく、しかし転送性が低い。
• adversarial 訓練はモデルの頑健性を顕著に向上させ、テストされたモデル全体で平均して攻撃成功率を最大 60% 減少させる。
• 入力の浄化や勾配マスキングに基づく防御は、より強力で適応的な攻撃に対してはしばしば失敗し、一般化能力に限界があることを示している。
• 画像とは異なり、テキストにおける adversarial 例の転送性は低く、タスク固有の攻撃戦略がより効果的であると考えられる。
• NLP における adversarial 頑健性のための標準化されたベンチマークと評価プロトコルが依然として不足しており、これにより異なる手法間の公平な比較が妨げられている。