[論文レビュー] Black-box Adversarial Attacks with Bayesian Optimization

Satya Narayan Shukla, Anit Kumar Sahu+2 more|arXiv (Cornell University)|Sep 30, 2019

Adversarial Robustness in Machine Learning参考文献 26被引用数 25

ひとこと要約

本稿では、低次元の潜在空間でベイジアン最適化（BO）を用い、最近傍補間によるアップサンプリングを施すことで、クエリ効率の高いブラックボックス敵対的攻撃であるBayes-Attackを提案する。この手法は、先行手法と比較して最大80%少ないクエリ数で最先端の成功確率を達成し、特に100〜200クエリという厳しいクエリ予算下で顕著な効果を示す。

ABSTRACT

We focus on the problem of black-box adversarial attacks, where the aim is to generate adversarial examples using information limited to loss function evaluations of input-output pairs. We use Bayesian optimization~(BO) to specifically cater to scenarios involving low query budgets to develop query efficient adversarial attacks. We alleviate the issues surrounding BO in regards to optimizing high dimensional deep learning models by effective dimension upsampling techniques. Our proposed approach achieves performance comparable to the state of the art black-box adversarial attacks albeit with a much lower average query count. In particular, in low query budget regimes, our proposed method reduces the query count up to $80\%$ with respect to the state of the art methods.

研究の動機と目的

• 極めて限られたクエリ予算下でブラックボックス敵対的攻撃を実現する挑戦に応えること。現行の手法は数万回ものクエリを必要としている。
• ブラックボックス最適化で関数評価回数を最小化する手法として知られるベイジアン最適化を活用することで、ブラックボックス攻撃のクエリ効率を向上させること。
• 高次元のディープラーニング入力と、高次元探索空間で困難をきたすBOの実用的制限との間のギャップを埋めること。
• 標準的なBOアプローチが、効果的な次元削減とアップサンプリングを組み合わせることで、低クエリブラックボックス攻撃の強力なベースラインとして機能できるかどうかを評価すること。

提案手法

• 入力画像から導出される低次元の潜在空間でベイジアン最適化を実行し、探索次元を著しく低減する。
• 最近傍補間技術を用いて、最適化された潜在摂動を元の入力空間に再構築し、敵対的性質を保持する。
• 勾配情報が不要なロス関数評価（ログティスまたは予測）のみを用いるため、勾配アクセスが不可能なブラックボックス設定に適している。
• ガウス過程のスラッグモデルと獲得関数（例：期待改善）を用いて、クエリ効率の良い探索をガイドする。
• ImageNetおよびMNIST分類器に適用し、事前学習済みモデルと標準的な敵対的攻撃プロトコル（ℓ∞バウンディング）を用いる。
• MNISTでは、VAEやオートエンコーダーを含む複数のアップサンプリング手法を比較し、最近傍補間が大規模な学習データを必要としないにもかかわらず優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 高次元入力空間において、ベイジアン最適化をクエリ効率の高いブラックボックス敵対的攻撃に効果的に適応できるか？
• RQ2 アップサンプリング手法の選択（例：最近傍補間 vs. VAE）が攻撃の成功確率およびクエリ効率に与える影響は何か？
• RQ3 ブラックボックス敵対的攻撃におけるベイジアン最適化の最適な潜在次元は何か？また、その次元が性能に与える影響は？
• RQ4 単純な標準BOアプローチが、より複雑で特化したクエリ効率の高い攻撃手法と比較して、低クエリ予算下で優れた性能を示せるか？
• RQ5 提案手法は、最先端のベースラインと比較して、平均および中央値のクエリ数を大幅に削減しながらも、競争力のある成功確率を達成できるか？

主な発見

• 200クエリの予算下でImageNetに適用した場合、Bayes-Attackは平均22クエリ、中央値6クエリで62.95%の成功確率を達成し、次に優れた手法（Parsimonious）よりもクエリ効率が80%高い。
• 200クエリ未満の低予算領域では、Bayes-Attackが最先端の手法と比較して平均クエリ数を最大80%削減しながら、成功確率を維持または上回った。
• 最近傍補間は、MNISTにおいてVAEベースのデコーダーと同等の性能を発揮したが、大規模な事前学習を必要としないため、より実用的で効率的であった。
• ResNet50、Inception-v3、VGG16-bnといった複数のアーキテクチャにおいて、ℓ∞非指向的攻撃（ε=1.0）でも安定した性能を示した。
• 潜在次元の分析から、低い次元（例：d′=16）がより優れた性能を示したのに対し、d′=256は低い次元よりも劣り、d′=9は効果的な摂動を見つけるのに不十分なほど低かった。
• 結果から、ベイジアン最適化は特に低クエリ環境下において、ブラックボックス敵対的攻撃の標準ベースラインとして検討すべきであると示唆された。