[論文レビュー] Randomized Substitution and Vote for Textual Adversarial Example Detection.

Xiaosen Wang, Yifeng Xiong+1 more|arXiv (Cornell University)|Sep 13, 2021

Adversarial Robustness in Machine Learning参考文献 27被引用数 7

ひとこと要約

本稿では、語のランダム置換と予測投票を組み合わせた、アーキテクチャに依存しないテキストの敵対的例検出手法であるRandomized Substitution and Vote（RS&V）を提案する。RS&Vは、語の同義語置換による敵対的単語間依存関係の破壊を活用することで、既存の検出手法を上回る性能を発揮するとともに、クリーンな入力に対する高い精度を維持する。

ABSTRACT

A line of work has shown that natural text processing models are vulnerable to adversarial examples. Correspondingly, various defense methods are proposed to mitigate the threat of textual adversarial examples, e.g. adversarial training, certified defense, input pre-processing, detection, etc. In this work, we treat the optimization process for synonym substitution based textual adversarial attacks as a specific sequence of word replacement, in which each word mutually influences other words. We identify that we could destroy such mutual interaction and eliminate the adversarial perturbation by randomly substituting a word with its synonyms. Based on this observation, we propose a novel textual adversarial example detection method, termed Randomized Substitution and Vote (RS&V), which votes the prediction label by accumulating the logits of k samples generated by randomly substituting the words in the input text with synonyms. The proposed RS&V is generally applicable to any existing neural networks without modification on the architecture or extra training, and it is orthogonal to prior work on making the classification network itself more robust. Empirical evaluations on three benchmark datasets demonstrate that RS&V could detect the textual adversarial examples more successfully than the existing detection methods while maintaining the high classification accuracy on benign samples.

研究の動機と目的

• 語の同義語置換によって生成される敵対的例に対するテキスト分類モデルの脆弱性に対処すること。
• モデルの再訓練やアーキテクチャの変更を必要としない検出手法を開発すること。
• ランダムな同義語置換によって敵対的単語間依存関係を破壊し、摂動を露呈させること。
• 悪意ある入力に対して高い検出性能を達成するとともに、健全な入力に対する高い精度を維持すること。
• あらゆる事前学習済みニューラルネットワークと互換性がある汎用的かつ直交的な防御メカニズムを提供すること。

提案手法

• 入力テキストの各単語をランダムにその同義語に置換することで、k個の摂動を加えたバージョンを生成する。
• 各摂動付きサンプルに対して、モデルがログチット（logits）を出力し、k個のサンプル全体でそのログチットを集約する。
• 投票メカニズムにより、k個のサンプルからの累積ログチットに基づいて最終的な予測ラベルを決定する。
• 敵対的摂動は単語レベルの連携に依存しているため、ランダムな置換によってその連携が破壊され、摂動が露顯されやすくなる。
• 本手法は推論後処理として適用され、モデルの微調整やアーキテクチャの変更を一切不要としない。
• 検出判断は、k個のランダム化されたサンプル間での予測の一貫性を分析することで行われる。

実験結果

リサーチクエスチョン

• RQ1 ランダムな同義語置換は、テキスト敵対的例における敵対的単語間依存関係を効果的に破壊できるか？
• RQ2 ランダムに置換されたサンプルに対する予測投票は、既存の手法と比較して検出性能を向上させられるか？
• RQ3 提案手法は、敵対的例を検出する一方で、健全な入力に対する高い精度を維持できるか？
• RQ4 RS&V手法は、さまざまなニューラルネットワークアーキテクチャやデータセットに一般化可能か？
• RQ5 RS&Vは、モデル再訓練を要せず、直交的かつ即時適用可能な防御として機能できるか？

主な発見

• RS&Vは、既存の検出手法と比較して、3つのベンチマークデータセットにおいて優れた検出性能を達成した。
• 本手法は、クリーンで悪意のない入力に対しても高い分類精度を維持しており、性能の低下が最小限に抑えられていることが示された。
• 本手法は、アーキテクチャの変更や再訓練を要せず、さまざまな事前学習済みニューラルネットワークモデルに効果的に適用可能であった。
• ランダム置換により、敵対的単語間相互作用が効果的に破壊され、摂動がより検出されやすくなった。
• k個のランダム化サンプルに基づく投票メカニズムにより、敵対的ノイズに対する耐性が向上した。
• 実験結果から、RS&Vが、敵対的訓練などの既存の耐性強化技術と直交していることが確認された。