[論文レビュー] Generating Natural Language Adversarial Examples through An Improved Beam Search Algorithm

Tengfei Zhao, Zhaocheng Ge+2 more|arXiv (Cornell University)|Oct 15, 2021

Adversarial Robustness in Machine Learning参考文献 31被引用数 5

ひとこと要約

本稿では、ブラックボックス設定における高品質で低摂動の自然言語敵対的例を生成するための改善されたビームサーチアルゴリズムを提案する。Sentiwordnet類似度を用いた検索戦略と語の置換スコアリングの最適化により、BERTおよびBiLSTMにおけるIMDBデータセットに対して100%の攻撃成功率を達成し、最先端のベースラインと比較して3～15倍少ないクエリ数で実現し、成功確率や転送性を損なわず、大幅に効率性が向上した。

ABSTRACT

The research of adversarial attacks in the text domain attracts many interests in the last few years, and many methods with a high attack success rate have been proposed. However, these attack methods are inefficient as they require lots of queries for the victim model when crafting text adversarial examples. In this paper, a novel attack model is proposed, its attack success rate surpasses the benchmark attack methods, but more importantly, its attack efficiency is much higher than the benchmark attack methods. The novel method is empirically evaluated by attacking WordCNN, LSTM, BiLSTM, and BERT on four benchmark datasets. For instance, it achieves a 100\% attack success rate higher than the state-of-the-art method when attacking BERT and BiLSTM on IMDB, but the number of queries for the victim models only is 1/4 and 1/6.5 of the state-of-the-art method, respectively. Also, further experiments show the novel method has a good transferability on the generated adversarial examples.

研究の動機と目的

• 既存のブラックボックス単語レベル敵対的攻撃手法の非効率性を解決する。特に、過剰なモデルクエリを必要とする問題を改善する。
• 特にIMDB や SST-2 のような短いテキストにおいて、先行手法が性能を発揮できない問題を改善し、攻撃成功率を向上させる。
• 生成された敵対的例の意味的類似度を高く保ち、摂動を最小限に抑えることで、自然さと品質を確保する。
• 敵対的例のモデル間転送性（例：BERT から DistilBERT への転送）を強化する。
• 計算コストを低減しながらも高い攻撃効果を維持できる、クエリ効率の良い攻撃戦略を設計する。

提案手法

• ブラックボックステキスト攻撃シナリオにおいて、検索効率と成功率を向上させる改善されたビームサーチアルゴリズムを導入する。
• 意味的類似度が高く、摂動が小さい語の置換を優先するための、Sentiwordnetに基づく新しい語置換スコアリング機構を設計する。
• 入力の複雑さに応じて、長文と短文の両方のテキストに対して別々の攻撃戦略を実装し、短いシーケンスにおける成功率を向上させる。
• 探索と活用のバランスを取るためにビーム幅最適化を実装し、ビーム幅 = 1 でも高い攻撃成功率を達成する。
• 信頼度に基づく選択メカニズムを統合し、被害モデルを効果的にだます敵対的例の探索を促進する。
• 勾配情報ではなく、モデルの予測結果（出力）のみにアクセス可能なブラックボックス設定で攻撃を実行し、現実世界の制約を模擬する。

実験結果

リサーチクエスチョン

• RQ1 改善されたビームサーチアルゴリズムは、ブラックボックスNLP攻撃における効果的な敵対的例の生成に必要なクエリ数を著しく削減できるか？
• RQ2 提案手法は、IMDB や SST-2 のような短いテキストデータセットにおいて、最先端のベースラインと比較して高い攻撃成功率を達成できるか？
• RQ3 Sentiwordnetに基づく類似度の活用は、敵対的例の品質と自然さをどの程度向上させるか？
• RQ4 標準的なビームサーチと比較して、改善されたビームサーチは攻撃成功率および効率性において優れているか？
• RQ5 提案手法で生成された敵対的例は、DistilBERT などの他のモデルに対しても強力な転送性を示すか？

主な発見

• 提案手法は、BERT および BiLSTM における IMDB データセット攻撃で100%の攻撃成功率を達成し、すべてのベースライン手法を上回った。
• IMDB において、ベースラインの SememePSO よりもクエリ数を1/15に、PWWS よりも1/3にまで削減し、攻撃速度が3～15倍速くなった。
• SST-2 データセットでは91.6%の攻撃成功率を達成し、比較したすべてのベースラインを上回った。
• ビーム幅 = 1 であっても、改善されたビームサーチは標準ビームサーチ（ビーム幅 = 6）を上回る成功率を示した。
• 生成された敵対的例は低いパープレキシティと高い文法的整合性を示し、優れた言語的品質を有していた。
• 敵対的例の転送性は、最先端の SememePSO 手法と同等であり、IMDB、SST-2、YELP、SNLI における DistilBERT での成功確率も類似していた。