[論文レビュー] Query-Efficient and Scalable Black-Box Adversarial Attacks on Discrete Sequential Data via Bayesian Optimization

Deok‐Sun Lee, Seungyong Moon+2 more|arXiv (Cornell University)|Jun 17, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、クエリ効率の高いブラックボックス敵対的攻撃を、離散的逐次データに対して提示するBlockwise Bayesian Attack (BBA) を提案する。BBAは、自動関連性決定（ARD）カテゴリカルカーネルを用いたベイズ最適化を用い、動的に重要な位置を特定する。ブロック分解、履歴サブサンプリング、および後処理最適化を活用することで、NLPおよびタンパク質分類タスクにおいて、顕著に少ないクエリ数と低い変更率で最先端の攻撃成功率を達成する。

ABSTRACT

We focus on the problem of adversarial attacks against models on discrete sequential data in the black-box setting where the attacker aims to craft adversarial examples with limited query access to the victim model. Existing black-box attacks, mostly based on greedy algorithms, find adversarial examples using pre-computed key positions to perturb, which severely limits the search space and might result in suboptimal solutions. To this end, we propose a query-efficient black-box attack using Bayesian optimization, which dynamically computes important positions using an automatic relevance determination (ARD) categorical kernel. We introduce block decomposition and history subsampling techniques to improve the scalability of Bayesian optimization when an input sequence becomes long. Moreover, we develop a post-optimization algorithm that finds adversarial examples with smaller perturbation size. Experiments on natural language and protein classification tasks demonstrate that our method consistently achieves higher attack success rate with significant reduction in query count and modification rate compared to the previous state-of-the-art methods.

研究の動機と目的

• グリーディなブラックボックス攻撃が離散的逐次データに適用される際、探索空間が制限され、最適でない結果が得られるという限界を是正すること。
• 長大なシーケンスにおけるブラックボックス敵対的攻撃のクエリ効率とスケーラビリティを向上させること、特に離散的かつ高次元の空間において。
• クエリ履歴と意味的類似性を用いて、摂動の対象となる重要な位置を動的に同定する手法を開発すること。
• 攻撃成功率を損なわずに摂動サイズを低減するための後処理最適化アルゴリズムを実装すること。
• テキストやタンパク質シーケンスを含む多様な分野への汎用性を実証すること。

提案手法

• クエリフィードバックに基づき、各カテゴリカル変数（例：語またはアミノ酸）の重要度を自動的に学習するため、ベイズ最適化にARDカテゴリカルカーネルを導入する。
• 長大なシーケンスを扱いやすいブロックに分割するブロック分解を適用し、高次元入力空間におけるスケーラブルな最適化を実現する。
• ガウス過程推論の計算コストを削減しながら最適化の正確性を維持するため、履歴サブサンプリングを採用する。
• DPPに基づくバッチ更新戦略を用いて、多様で情報量の多いシーケンスを並列評価用に選択し、クエリ効率を向上させる。
• 敵対的例を精緻化する後処理最適化アルゴリズムを実装し、摂動サイズを最小限に抑えつつ、誤分類を維持する。
• 意味的類似性に基づく攻撃空間を定義する——テキストにはWordNetを、タンパク質には実験的交換可能性（ExEx）を用い、意味的な同義語集合を構築する。

実験結果

リサーチクエスチョン

• RQ1 ARDカテゴリカルカーネルを用いたベイズ最適化は、離散的逐次データにおいて、グリーディ法よりもクエリ効率と攻撃成功率で優れているか？
• RQ2 ブロック分解と履歴サブサンプリングは、長大シーケンスにおける敵対的攻撃のスケーラビリティとパフォーマンスにどのように影響するか？
• RQ3 DPPに基づくバッチ更新は、グリーディなバッチ選択と比較して、どの程度クエリ効率を向上させるか？
• RQ4 後処理最適化により、攻撃成功率を落とさずに摂動サイズを低減できるか？
• RQ5 提案手法は、NLPおよびタンパク質シーケンス分類といった異なる分野に、どの程度汎用性を示すか？

主な発見

• EC50タンパク質分類タスクにおいて、BBAはわずか2.0％の変更率と231回の平均クエリで99.8％の攻撃成功率を達成し、ベースライン手法を上回る。
• Yelpセンチメント分類のBERT-baseにおいて、BBAは14.0％の変更率と154回の平均クエリで77.4％の攻撃成功率を達成し、PWWSと比較してMRとQrsの両方を顕著に低減した。
• アブレーションスタディでは、DPPベースのバッチ更新がグリーディなバッチ選択と比較して、攻撃成功率を向上させるとともにクエリ数を最大15％まで削減した。
• AG’s Newsでは、BBAは500件のテキストのうち363件を欺瞞に陥れた（変更率14.0％、クエリ数154回）、一方PWWSは267件にとどまり（変更率18.3％、クエリ数367回）だった。
• BERT-largeおよびXLNet-largeモデルにおいても、BBAは全指標で優れたパフォーマンスを維持し、モデルアーキテクチャを問わず堅牢性を確認した。
• 後処理最適化により、成功した攻撃例における摂動サイズが低減され、BBAはAG’s NewsのBERT-baseで14.0％のMRを達成したのに対し、PWWSは同じサブセットで18.3％のMRであった。