[論文レビュー] TextDecepter: Hard Label Black Box Attack on Text Classifiers

Sachin Saxena|arXiv (Cornell University)|Aug 16, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用数 5

ひとこと要約

TextDecepter は、最終予測スコア（信頼度スコアを含まない）しか入手できないハードラベルブラックボックス攻撃フレームワークを提案する。文の意味的類似性と文法的正しさを保ちつつ、意味的に類似した敵対的例を生成するため、品詞タグ付きの同義語選択と文の重要度ヒューリスティクスを用いる。この手法により、BERT などの最先端モデルに対して 50% を超える攻撃成功率を達成する。

ABSTRACT

Machine learning has been proven to be susceptible to carefully crafted samples, known as adversarial examples. The generation of these adversarial examples helps to make the models more robust and gives us an insight into the underlying decision-making of these models. Over the years, researchers have successfully attacked image classifiers in both, white and black-box settings. However, these methods are not directly applicable to texts as text data is discrete. In recent years, research on crafting adversarial examples against textual applications has been on the rise. In this paper, we present a novel approach for hard-label black-box attacks against Natural Language Processing (NLP) classifiers, where no model information is disclosed, and an attacker can only query the model to get a final decision of the classifier, without confidence scores of the classes involved. Such an attack scenario applies to real-world black-box models being used for security-sensitive applications such as sentiment analysis and toxic content detection.

研究の動機と目的

• 最終予測スコアのみが入手可能なハードラベルブラックボックス設定における NLP 攻撃のギャップを埋める。
• 勾配情報や信頼度スコアが利用できない状況で、重要語を特定し、摂動を生成する手法を開発する。
• 生成された敵対的例が意味的類似性、文法的正しさ、および自然さを保つようにする。
• 従来の単語レベル摂動に基づく攻撃フレームワークと比較して、メモリ使用量を削減する。
• 現実的で実世界に即した攻撃シナリオにおいて、最先端のテキスト分類器の耐性を検証する。

提案手法

• クラス強度の加法性仮定に基づく文の重要度ランク付けを用いて、重要な文を同定する。
• 粗粒度および細粒度の品詞（POS）タギングを適用し、文法的正しさを保つ同義語をフィルタリングする。
• 信頼度スコアに依存せずに、元のクラスからの同義語集約を用いて置換意思決定をガイドする。
• ヒューリスティクスに基づく選択プロセスを用いて、入力を意思決定境界に近づけるように逐次的に語を同義語に置換する。
• 二段階のフィルタリングを導入する：まず、文の重要度により重要な語を同定し、次に品詞と集約制約を用いて妥当な同義語を選択する。
• 勾配情報やモデルアーキテクチャに依存せず、最終的なモデル予測（ハードラベル）のみを用いて攻撃をガイドする。

実験結果

リサーチクエスチョン

• RQ1 最終予測スコアのみが入手可能なハードラベルブラックボックス設定において、テキスト分類器に対して効果的な敵対的例を生成できるか？
• RQ2 信頼度スコアが利用できない状況で、単語レベルの摂動において文法的正しさと意味的類似性をどのように維持できるか？
• RQ3 粗粒度対細粒度の品詞タグの粒度が、文の自然さと攻撃効果性に与える影響は何か？
• RQ4 勾配情報や信頼度情報が欠如する状況で、同義語集約の使用が攻撃成功率にどのように寄与するか？
• RQ5 本手法は、既存のブラックボックス攻撃フレームワークと比較して、どの程度メモリ使用量を削減できるか？

主な発見

• TextDecepter は、IMDB および MR 感情分析データセットの両方において、BERT などの最先端モデルに対して 50% 以上の攻撃成功率を達成する。
• IMDB データセットでは、同義語集約を用いることで BERT の正答率が 88.3% から 30.9% に低下し、集約なしでは 63.2% にとどまる。この結果は、集約の重要性を示している。
• 従来の単語レベル摂動ベースのフレームワークと比較して、メモリ使用量を削減し、効率性を向上させる。
• 人間による評価により、敵対的例が元のテキストと高い文法的正しさと意味的類似性を維持していることが確認された。
• 細粒度の品詞タグは文法的正しさを向上させるが、粗粒度タグと比較して人間の理解度にそれほど差を生じさせないため、実用的展開におけるトレードオフが生じる。
• アブレーションスタディの結果、同義語集約に基づく選択を削除すると攻撃成功率が上昇（例：IMDB で +32%）することが示され、信頼度スコアが欠如する状況下で集約が意思決定境界への到達を効果的に支援していることが明らかになった。