[論文レビュー] Efficient Combinatorial Optimization for Word-level Adversarial Textual Attack

Shengcai Liu, Ning Lü+2 more|arXiv (Cornell University)|Sep 6, 2021

Adversarial Robustness in Machine Learning参考文献 49被引用数 5

ひとこと要約

本稿では、パーティションマトロイド制約付きの集合最大化として最適化問題を定式化することで、単語レベルの敵対的テキスト攻撃のための局所探索アルゴリズム（LS）を提案する。LSは、最大で10倍少ないクエリで、高い攻撃成功率を達成し、同時に敵対的例の品質、転送性、敵対的訓練における耐性向上の面でも最先端の性能を発揮する。

ABSTRACT

Over the past few years, various word-level textual attack approaches have been proposed to reveal the vulnerability of deep neural networks used in natural language processing. Typically, these approaches involve an important optimization step to determine which substitute to be used for each word in the original input. However, current research on this step is still rather limited, from the perspectives of both problem-understanding and problem-solving. In this paper, we address these issues by uncovering the theoretical properties of the problem and proposing an efficient local search algorithm (LS) to solve it. We establish the first provable approximation guarantee on solving the problem in general cases.Extensive experiments involving 5 NLP tasks, 8 datasets and 26 NLP models show that LS can largely reduce the number of queries usually by an order of magnitude to achieve high attack success rates. Further experiments show that the adversarial examples crafted by LS usually have higher quality, exhibit better transferability, and can bring more robustness improvement to victim models by adversarial training.

研究の動機と目的

• 単語レベルの敵対的攻撃における組合せ最適化ステップの理論的理解の不足と、効率的な解法の欠如に対処すること。
• 高い攻撃成功率と低いクエリコストの両立を図るクエリ効率の良い最適化アルゴリズムを開発すること。
• 一般ケースにおいて、単語レベルの敵対的攻撃最適化に対して、初めての証明可能な近似保証を確立すること。
• 既存の単語置換手法や将来の攻撃フレームワークと即座に統合可能なプラグアンドプレイ統合を可能にすること。
• 敵対的例の品質、転送性、および敵対的訓練における耐性向上の恩恵を向上させること。

提案手法

• 単語レベルの敵対的攻撃最適化を、証明されたNP困難性を持つパーティションマトロイド制約付きの集合最大化問題として定式化する。
• 局所探索アルゴリズム（LS）を提案し、3種類の摂動（同義語置換、セメムベース置換、文脈に配慮した置換）を考慮しながら、限界利得に基づいて逐次的に置換を選択する。
• 限界利得の減少に基づく停止条件を採用し、過剰なクエリを回避する。
• 性能の近似境界を導入し、この問題クラスに対して初めての一般理論的保証を提供する。
• 単語置換手法に依存しないようにアルゴリズムを設計し、任意の既存の置換技術と即座に統合可能である。
• 攻撃成功率の即時の向上が最も高い置換を優先する貪欲な選択戦略を採用し、文法的整合性と自然さを維持する。

実験結果

リサーチクエスチョン

• RQ1 単語レベルの敵対的最適化問題の理論的困難度は何か？ また、性能保証を確立できるか？
• RQ2 勾配情報に依存せずに、高い攻撃成功率を達成しつつクエリ効率の良い最適化アルゴリズムを設計できるか？
• RQ3 LSアルゴリズムは、クエリ効率、成功率、敵対的例の品質の観点で、既存手法と比較してどのように異なるか？
• RQ4 LSによって生成された敵対的例は、敵対的訓練によってモデルの耐性をどの程度向上できるか？
• RQ5 LSは、異なる単語置換手法やNLPモデルに一般化できるか？

主な発見

• LSは、5つのNLPタスクと26のモデルにおいて、ベースライン手法と比較して最大10倍少ないモデルクエリで、より高い攻撃成功率を達成する。
• LSによって生成された敵対的例は、文法的整合性と自然さが高く、より高品質な摂動を示す。
• LSによって生成された例は、異なるモデルやデータセット間で優れた転送性を示し、特にブラックボックス設定下で顕著である。
• LSによって作成された例を用いた敵対的訓練は、ベースライン手法の例を用いた訓練よりも、より大きな耐性向上をもたらす。
• 敵対的訓練後でもLSは強固な性能を維持しており、ベースラインアプローチよりも防御的ファインチューニングに対して感受性が低いことが示された。
• LSの理論的近似境界は、一般ケースにおける単語レベルの敵対的最適化に対して、初めての証明可能な性能保証を提供する。