[論文レビュー] FastWordBug: A Fast Method To Generate Adversarial Text Against NLP Applications

Dou Goodman, Zhonghou Lv+1 more|arXiv (Cornell University)|Jan 31, 2020

Adversarial Robustness in Machine Learning参考文献 5被引用数 5

ひとこと要約

FastWordBug は、品詞（POS）タグの重みを用いて影響力の高い単語を特定することで、NLP モデルをだますために効率的にテキストの摂動を生成するブラックボックス攻撃フレームワークである。最小限のモデルクエリで Text-CNN では 13.0%、Word-LSTM では 21.0% までモデルの正確性を低下させ、モデルやクラウド API 間での高い攻撃効率と転送性を示している。

ABSTRACT

In this paper, we present a novel algorithm, FastWordBug, to efficiently generate small text perturbations in a black-box setting that forces a sentiment analysis or text classification mode to make an incorrect prediction. By combining the part of speech attributes of words, we propose a scoring method that can quickly identify important words that affect text classification. We evaluate FastWordBug on three real-world text datasets and two state-of-the-art machine learning models under black-box setting. The results show that our method can significantly reduce the accuracy of the model, and at the same time, we can call the model as little as possible, with the highest attack efficiency. We also attack two popular real-world cloud services of NLP, and the results show that our method works as well.

研究の動機と目的

• モデルクエリの数を最小限に抑えることにより、NLP モデル向けに高速で効率的なブラックボックスの逆方向攻撃手法を開発すること。
• 品詞（POS）タグと単語の重要性の関係を定量化すること。
• POS タグの重みと信頼度の低下に基づいて、影響力の高い単語のみをフィルタリングすることで攻撃の効率を向上させること。
• 実世界のデータセットおよび商用 NLP クラウドサービスにおける有効性を評価すること。
• 異なるモデルや API 間で逆方向例の転送性を示すこと。

提案手法

• 単語を除いた際の信頼度の低下に基づくスコア関数 $ C_{w_j} = \mathcal{F}_y(w) - \mathcal{F}_y(w \setminus w_j) $ を用いて単語の重要性を評価する。
• データセット全体で最大の信頼度低下を引き起こす単語に対応する各品詞タグの頻度を測定することで、品詞タグの重みを算出する。
• 各品詞タグごとの影響力の高い単語の頻度から、ソフトマックス正規化された重みベクトル $ W(t) $ を導出する。
• 攻撃パイプラインは、まずモデルの信頼度スコアに基づいて重要な文を特定し、次にしきい値を超える高い品詞タグ重みを持つ単語をフィルタリングする。
• 影響力の高い単語を意味的に類似した同義語に置き換えることで逆方向例を生成し、テキストの有用性を保ちながら予測を反転させる。
• この手法はブラックボックスの脅威モデルに従い、モデルのクエリ出力（予測結果と信頼度スコア）のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 品詞（POS）タグの情報は、逆方向摂動のための最も影響力のある単語を効率的に特定するために利用可能か？
• RQ2 モデルクエリの数を減らすことで、NLP モデルに対する逆方向攻撃をどのように効率化できるか？
• RQ3 FastWordBug が生成した逆方向例は、異なる NLP モデルやクラウドベースの API 間でどの程度転送可能か？
• RQ4 FastWordBug は、実世界のテキスト分類およびセンチメント分析タスクにおけるモデルの正確性をどの程度低下させることができるか？
• RQ5 最小限の摂動で高い攻撃成功率を達成しつつ、意味的整合性を維持できるか？

主な発見

• FastWordBug は、IMDB センチメントデータセットにおいて、Text-CNN の正確性を 87.0% から 13.0%、Word-LSTM を 78.0% から 21.0% まで低下させたが、モデルクエリは最小限に抑えられた。
• AG’s News テキスト分類では、正確性が Text-CNN で 36.0%、Word-LSTM で 31.5% に低下し、強力な攻撃効果が確認された。
• 2 つの実世界のクラウド NLP サービス（Aylien Sentiment および ParallelDots）に対しても攻撃に成功し、予測を否定的から肯定的へと反転させ、信頼度スコアが 50% を超えた。
• 逆方向例は強い転送性を示した：Text-CNN で生成された攻撃の 64.5% が Word-LSTM に転送され、Word-LSTM で生成された攻撃の 83.5% が Text-CNN に転送された。
• POS に基づくフィルタリングにより、FastWordBug はモデルコールの数を顕著に削減し、本研究で報告された中で最高の攻撃効率を達成した。
• 意味的類似性が維持されており、オリジナルのテキストとの変更が最小限で、逆方向例の読みやすさが保たれていることが裏付けられた。