[論文レビュー] Detecting Textual Adversarial Examples through Randomized Substitution and Vote

Xiaosen Wang, Yifeng Xiong+1 more|arXiv (Cornell University)|Sep 13, 2021

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、同義語置換攻撃によって生成されたテキストの adversarial 例を検出するための、アーキテクチャに依存しない新規手法 Randomized Substitution and Vote (RS&V) を提案する。複数の改変バージョンにおいてランダムに語を同義語に置換し、予測結果を投票することで、再訓練を必要とせずモデルの一般化能力を活用しつつ、最先端の手法よりも高い検出精度と、継続的な継続的性能を維持する。

ABSTRACT

A line of work has shown that natural text processing models are vulnerable to adversarial examples. Correspondingly, various defense methods are proposed to mitigate the threat of textual adversarial examples, eg, adversarial training, input transformations, detection, etc. In this work, we treat the optimization process for synonym substitution based textual adversarial attacks as a specific sequence of word replacement, in which each word mutually influences other words. We identify that we could destroy such mutual interaction and eliminate the adversarial perturbation by randomly substituting a word with its synonyms. Based on this observation, we propose a novel textual adversarial example detection method, termed Randomized Substitution and Vote (RS&V), which votes the prediction label by accumulating the logits of k samples generated by randomly substituting the words in the input text with synonyms. The proposed RS&V is generally applicable to any existing neural networks without modification on the architecture or extra training, and it is orthogonal to prior work on making the classification network itself more robust. Empirical evaluations on three benchmark datasets demonstrate that our RS&V could detect the textual adversarial examples more successfully than the existing detection methods while maintaining the high classification accuracy on benign samples.

研究の動機と目的

• 自然言語処理システムにおける同義語置換に基づくテキスト adversarial 攻撃の増加する脅威に対処すること。
• アーキテクチャの変更や再訓練を必要とせず、既存のニューラルネットワークに普遍的に適用可能な検出手法を開発すること。
• 悪意ある入力の検出精度を向上させつつ、健全な入力に対する分類性能を維持すること。
• ランダム化によって語の相互作用を破壊することで、adversarial パーティクルの脆さを活用すること。

提案手法

• 置換率 $ p $ を設定可能なパラメータとして、入力テキストの語の一部をランダムに同義語に置換する。
• 独立したランダムな同義語置換を用いて、入力テキストの $ k $ 個の改変バージョンを生成する。
• すべての $ k $ 個の改変サンプルから得られるモデルのロジットを集約し、投票信号を形成する。
• 元の入力の予測ラベルが、$ k $ 個の改変サンプルの多数決と異なる場合、それを adversarial と分類する。
• 文法的整合性を保つためにストップワードは置換対象から除外し、設定可能なストップワード選択割合 $ s $ を用いる。
• 投票機構によりランダム置換によるばらつきを低減し、検出性能の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 ランダムな同義語置換は、同義語ベースの adversarial 攻撃における語同士の相互作用を効果的に破壊できるか？
• RQ2 改変サンプル数 $ k $ が検出性能とばらつき低減に与える影響は何か？
• RQ3 検出精度と健全な入力に対する頑健性のバランスを最適化するための最適な置換率 $ p $ は何か？
• RQ4 ストップワードを置換対象から除外することで、検出効果とモデル一般化能力にどのような影響があるか？
• RQ5 攻撃者が検出モジュールを把握している状況でも、RS&V は既存の検出手法を上回る性能を示せるか？

主な発見

• RS&V は、AG’s News、IMDB、Rotten Tomatoes の3つのベンチマークデータセットにおいて、最先端のベースラインより高い検出精度を達成した。
• 置換率 $ p = 60\text{\%} $、$ k = 25 $、ストップワード除外割合 $ s = 2\text{\%} $ の条件下で、すべてのデータセットで健全な入力に対して高い分類精度（>95%）を維持した。
• 置換率を $ p = 60\text{\%} $ まで引き上げると検出精度が著しく向上し、以降は性能が安定化した。
• $ k \geq 10 $ の場合、安定的かつ高い検出性能が得られ、$ k = 25 $ が最良のバランスを提供した。
• ストップワード選択割合 $ s $ が 2\% を超えると性能が低下し、あまりに多くの語を除外することで adversarial パーティクルの除去能力が制限された。
• 攻撃者が検出メカニズムを把握しているブラックボックス攻撃設定下でも、RS&V は依然として効果的であり、強い頑健性を示した。