[論文レビュー] Generating Natural Language Attacks in a Hard Label Black Box Setting

Rishabh Maheshwary, Saket Maheshwary+1 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling被引用数 4

ひとこと要約

本稿は、上位1つの予測ラベルしか入手できないハードラベルブラックボックス設定における自然言語処理モデル向けに、意思決定ベースの adversarial 攻撃を提案する。遺伝的アルゴリズムと同義語ベースの初期化を用いた集団ベース最適化により、高い成功確率と低い摂動率で意味的に類似した、文法的に正しい adversarial 例を生成する。代替モデルや学習データを必要とせず、非常に制限された環境下でも先行手法を上回る性能を発揮する。

ABSTRACT

We study an important and challenging task of attacking natural language processing models in a hard label black box setting. We propose a decision-based attack strategy that crafts high quality adversarial examples on text classification and entailment tasks. Our proposed attack strategy leverages population-based optimization algorithm to craft plausible and semantically similar adversarial examples by observing only the top label predicted by the target model. At each iteration, the optimization procedure allow word replacements that maximizes the overall semantic similarity between the original and the adversarial text. Further, our approach does not rely on using substitute models or any kind of training data. We demonstrate the efficacy of our proposed approach through extensive experimentation and ablation studies on five state-of-the-art target models across seven benchmark datasets. In comparison to attacks proposed in prior literature, we are able to achieve a higher success rate with lower word perturbation percentage that too in a highly restricted setting.

研究の動機と目的

• 上位1つの予測ラベルしか観測できないハードラベルブラックボックス設定において、効果的な adversarial 例を生成する課題に対処すること。
• 語の摂動を最小限に抑える一方で、意味的類似性と文法的正しさを維持する攻撃戦略を開発すること。
• 代替モデル、学習データ、勾配情報への依存を排除することで、実世界の応用においてより実用的になるようにすること。
• このような制限的だが現実的な攻撃シナリオ下での最先端 NLP モデルの頑健性を評価すること。
• 提案手法の攻撃成功率、転送性、有効性が複数のモデルおよびデータセットにわたってどのように発揮されるかを示すこと。

提案手法

• 反復的な語の置換を通じて候補 adversarial 例を進化させる集団ベース最適化フレームワークを活用する。
• 探索空間を効果的に探査し、意味的類似性が向上した高品質な adversarial 例に収束させるために、遺伝的アルゴリズム（GA）を用いる。
• カウンターフィットされた単語埋め込み空間から上位50語の同義語を用いて初期化することで、初期解の品質を向上させる。
• 最適化中に埋め込みベースの類似度メトリクスを用いて、元のテキストと adversarial テキストの意味的類似性を最大化する。
• 勾配情報、信頼度スコア、モデルアーキテクチャの情報にアクセスできない状況下で、ターゲットモデルからのハードラベルフィードバック（上位予測クラス）にのみ依存する。
• 収束性と効率性を向上させるために、戦略的な語の選択と置換制約により探索空間を縮小する。

実験結果

リサーチクエスチョン

• RQ1 ハードラベルブラックボックス設定で上位ラベルのフィードバックのみが利用可能な状況下で、意思決定ベースの攻撃が高品質な adversarial 例を生成できるか？
• RQ2 厳しい制約下でも、集団ベース最適化戦略が意味的類似性と文法的正しさをどれほど維持できるか？
• RQ3 同義語ベース初期化が adversarial 例生成の品質と効率にどの程度寄与するか？
• RQ4 攻撃成功率、摂動率、転送性の観点から、本手法は先行手法と比べてどの程度優れているか？
• RQ5 本手法で生成された adversarial 例は、異なる NLP モデルおよびデータセット間で効果的に転送可能か？

主な発見

• 遺伝的アルゴリズムの統合により、非-GA最適化と比較して BERT において摂動率が 4.4% 減少し、意味的類似度が 0.16 上昇した。これは遺伝的アルゴリズム統合の有効性を示している。
• 同義語ベース初期化を実施しない場合、平均的な意味的類似度は 0.1 減少し、摂動率は 2.4% 増加する。これは初期化の重要性を裏付ける。
• 本手法で生成された adversarial 例は高い転送性を示し、SNLI データセット上で他のモデルを攻撃した際の攻撃成功率は BERT で 53.0%、ESIM で 54.9%、Infersent で 67.4% を記録した。
• 人間による評価では、IMDB では 96%、SNLI では 92% の adversarial 例が元の例と同一のラベルに分類された。これは意味的保存性の高さを示している。
• 文法的正しさの平均スコアは IMDB で 4.44、SNLI で 4.13 であり、意味的類似度はそれぞれ 0.93 と 0.896 であった。これは高い文の流れと妥当性を示している。
• adversarial 訓練で 10% の adversarial 例を用いた後、BERT の正答率は 15% 減少し、摂動率は 10% 増加した。これは、モデルの微調整後でも攻撃が依然として有効であることを示している。