[論文レビュー] Generating Textual Adversarial Examples for Deep Learning Models: A Survey.

Wei Emma Zhang, Quan Z. Sheng+1 more|arXiv (Cornell University)|Jan 21, 2019

Adversarial Robustness in Machine Learning被引用数 44

ひとこと要約

本調査は、深層学習モデルを標的とするテキストの敵対的例を生成する手法を包括的にレビューし、離散的テキストデータがもつ固有の課題に言及している。自然言語処理（NLP）タスクにおけるDNNをだませる微小で人間には感知されない摂動を適用する手法を分析し、テキストベースの敵対的攻撃におけるアプローチ、限界、今後の方向性について体系的な概説を提供する。

ABSTRACT

With the development of high computational devices, deep neural networks (DNNs), in recent years, have gained significant popularity in many Artificial Intelligence (AI) applications. However, previous efforts have shown that DNNs were vulnerable to strategically modified samples, named adversarial examples. These samples are generated with some imperceptible perturbations but can fool the DNNs to give false predictions. Inspired by the popularity of generating adversarial examples for image DNNs, research efforts on attacking DNNs for textual applications emerges in recent years. However, existing perturbation methods for images cannotbe directly applied to texts as text data is discrete. In this article, we review research works that address this difference and generatetextual adversarial examples on DNNs. We collect, select, summarize, discuss and analyze these works in a comprehensive way andcover all the related information to make the article self-contained. Finally, drawing on the reviewed literature, we provide further discussions and suggestions on this topic.

研究の動機と目的

• 自然言語処理（NLP）における深層ニューラルネットワーク（DNN）の、最小限で人間には感知されない摂動による敵対的例への脆弱性を解消すること。
• 画像とテキストの敵対的攻撃の間の主な相違点、特にテキストの離散的性質に起因する相違点を特定・分析すること。
• テキストの敵対的例を生成する既存手法について、包括的かつ自己完結的なレビューを提供すること。
• 現在のアプローチの限界を議論し、テキストベースの敵対的攻撃分野における今後の研究方向性を示唆すること。

提案手法

• NLPモデル向けに敵対的例を生成することに焦点を当てた研究論文を体系的に収集・選定する。
• 意味的整合性を保ちながら離散的テキストを摂動する戦略に基づいて、手法を分類・分析する。
• 画像ベースの敵対的攻撃の原則を、テキストの離散的かつ逐次的な構造に適合させる技術をレビューする。
• 最小限の変更で効果的なだませる例を生成するためのさまざまな摂動戦略の有効性を評価する。
• 摂動の隠蔽性、モデルのだまし成功率、意味的整合性の間のトレードオフを議論する。
• テキストの敵対的攻撃手法の進化、分類、コアメカニズムを理解するための体系的フレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 画像と比較して、テキストの敵対的例を生成する際の主な課題は何か？
• RQ2 既存の手法は、離散的テキストに効果的な摂動を加えると同時に、意味的整合性をどのように維持しているか？
• RQ3 NLPタスクにおけるDNNをだますために用いられる主な戦略は何か？
• RQ4 さまざまな攻撃手法は、成功確率、摂動の大きさ、意味的整合性の観点からどのように比較できるか？
• RQ5 テキストの敵対的例生成分野における未解決の問題と今後の研究方向性は何か？

主な発見

• テキストの離散的性質のため、画像攻撃で用いられる勾配ベースの手法を直接適用できないが、テキストの敵対的例は成功裏に生成可能である。
• テキスト向けの摂動手法は、多くの場合、語の置換、トークンレベルの操作、またはシーケンスレベルの最適化に依存し、意味的整合性を保つ。
• NLPにおける敵対的攻撃の成功は、摂動戦略の選択と、モデルが特定の入力変化に対してどれほど感受性を示すかに強く依存する。
• 多くの手法が、標準的なNLPベンチマークで高いだまし成功率を達成しており、同時に摂動の目立たなさと元の入力との意味的類似性も維持している。
• 進展は見られても、非常に効果的で意味的に自然な敵対的例を生成する課題は依然として残っている。
• 本調査では、テキストの敵対的攻撃研究における標準化された評価プロトコルと耐性ベンチマークの必要性が高まっていると指摘している。