[論文レビュー] A Survey: Towards a Robust Deep Neural Network in Text Domain

Wenqi Wang, Lina Wang+3 more|arXiv (Cornell University)|Feb 12, 2019

Adversarial Robustness in Machine Learning被引用数 2

ひとこと要約

本論文は、テキストベースの深層ニューラルネットワーク（DNN）における敵対的攻撃と防御に関する包括的なサーベイを提示しており、NLPタスクごとに攻撃と防御を分類し、テストと検証を通じた耐性の構築を提案している。この分野における主要な課題を特定し、今後の研究方向性を提示している。

ABSTRACT

Deep neural networks (DNNs) have achieved remarkable success in various tasks (e.g., image classification, speech recognition, and natural language processing). However, researches have shown that DNN models are vulnerable to adversarial examples, which cause incorrect predictions by adding imperceptible perturbations into normal inputs. Studies on adversarial examples in image domain have been well investigated, but in texts the research is not enough, let alone a comprehensive survey in this field. In this paper, we aim at presenting a comprehensive understanding of adversarial attacks and corresponding mitigation strategies in texts. Specifically, we first give a taxonomy of adversarial attacks and defenses in texts from the perspective of different natural language processing (NLP) tasks, and then introduce how to build a robust DNN model via testing and verification. Finally, we discuss the existing challenges of adversarial attacks and defenses in texts and present the future research directions in this emerging field.

研究の動機と目的

• テキストベースの深層ニューラルネットワークにおける敵対的攻撃と防御の体系的分類を提供すること。
• 人間の自然言語処理タスクにおけるDNNの脆弱性を、目に見えない入力の摂動によって明らかにすること。
• テキストDNNモデルにおける耐性のテストと検証手法を検討すること。
• 敵対的耐性分野における未解決の課題を特定し、今後の研究方向性を提案すること。

提案手法

• テキスト分類や系列ラベル付けなどの異なるNLPタスクに基づいて、敵対的攻撃と防御を分類すること。
• 敵対的テストと検証技術を通じて、モデルの耐性を評価するフレームワークを提案すること。
• 敵対的訓練、入力の浄化、モデル正則化を含む、既存の防御メカニズムをサーベイすること。
• 現在のアプローチが多様なNLPタスクやデータ分布に一般化できていないという限界を分析すること。
• 耐性評価のための標準化されたベンチマークと評価プロトコルの重要性を強調すること。
• 画像分野の敵対的研究の知見を統合し、テキストベースの耐性戦略を支援すること。

実験結果

リサーチクエスチョン

• RQ1 テキスト分野における敵対的攻撃は、異なるNLPタスクごとにどのように分類されるか？
• RQ2 テキスト分類および生成タスクにおけるDNNの耐性を向上させるために、最も効果的な防御戦略は何か？
• RQ3 敵対的テストと検証は、どのように効果的にテキストDNNに適用できるか？
• RQ4 現在のNLP分野における敵対的耐性手法の主な制限は何であるか？
• RQ5 より強固なテキストベースの深層ニューラルネットワークを構築するために、今後の研究で必要な方向性は何か？

主な発見

• 敵対的攻撃は、小さな目に見えない摂動によって、継続的に高い性能を示すDNNを誤導するが、継続的な高精度なデータでは効果を発揮しない。
• 敵対的訓練のような現在の防御手法は有望ではあるが、多様なNLPタスクに一般化する能力に欠けている。
• テストと検証による耐性評価は不可欠であるが、画像分野と比較して、テキスト分野ではまだ十分に検討されていない。
• NLP分野における敵対的耐性のための標準化されたベンチマークと評価プロトコルが不足している。
• 今後の研究は、耐性モデルの一般化、解釈可能性、およびタスク間転送性の向上に注力すべきである。
• 画像分野と比較して、この分野はまだ十分に調査が進んでいないため、包括的な研究の必要性が浮き彫りになっている。