[論文レビュー] Simple Black-box Adversarial Attacks

Chuan Guo, Jacob R. Gardner+3 more|arXiv (Cornell University)|May 17, 2019

Adversarial Robustness in Machine Learning被引用数 160

ひとこと要約

SimBAを紹介する。信頼度スコアに導かれたランダム正規直交方向を用いて入力を摂動する、単純で非常にクエリ効率の高いブラックボックス攻撃。はるかに少ないクエリ数で競合する成功を達成。

ABSTRACT

We propose an intriguingly simple method for the construction of adversarial images in the black-box setting. In constrast to the white-box scenario, constructing black-box adversarial images has the additional constraint on query budget, and efficient attacks remain an open problem to date. With only the mild assumption of continuous-valued confidence scores, our highly query-efficient algorithm utilizes the following simple iterative principle: we randomly sample a vector from a predefined orthonormal basis and either add or subtract it to the target image. Despite its simplicity, the proposed method can be used for both untargeted and targeted attacks -- resulting in previously unprecedented query efficiency in both settings. We demonstrate the efficacy and efficiency of our algorithm on several real world settings including the Google Cloud Vision API. We argue that our proposed algorithm should serve as a strong baseline for future black-box attacks, in particular because it is extremely fast and its implementation requires less than 20 lines of PyTorch code.

研究の動機と目的

• クエリ予算制約の下で実用的なブラックボックス対向攻撃を動機づけ、形式化する。
• モデルの信頼度スコアに導かれた正規直交探索方向を用いる、単純な反復法であるSimBAを導入する。
• ImageNetおよび実世界のGoogle Cloud Vision APIに対する既存のブラックボックス攻撃とSimBAを比較評価する。
• 摂動境界に関する理論的洞察と、基底の選択およびステップサイズの実務的指針を提供する。

提案手法

• 事前に定義された基底Qから、反復的にランダムな正規直交探索方向qを選択する。
• 正の方向へサイズepsilonのステップを試み、目標クラス確率を低下さない場合は負の方向を試す。
• ある方向が目標確率を低下さる場合に摂動deltaを更新し、直交性によって打ち消しを防ぐ。
• 探索の指針として、ピクセル空間（Q = standard basis）または低周波数DCT空間（Q_DCT）の方向を使用する。
• 直交性により、最終的な摂動ノルムを ||delta_T||_2 <= sqrt(T) * epsilon として制限し、予算Tと摂動サイズを結びつける。
• ハイパーパラメータを最小限に保つ：正規直交基底Qとステップサイズepsilonのみ；勾配情報は不要。

実験結果

リサーチクエスチョン

• RQ1 限定されたクエリ数のブラックボックス設定で、攻撃者はいかにして知覚上不可視な敵対的サンプルを構築できるか。
• RQ2 正規直交探索方向（ピクセル空間または低周波数DCT空間）を用いることは、決定境界へ効率的にナビゲーションできるか。
• RQ3 単純なブラックボックス攻撃におけるクエリ予算と摂動ノルムのトレードオフは何か。
• RQ4 単純で高速な実装が、Google Cloud Visionのような実世界サービスに対して競争力のある成功率を達成できるか。

主な発見

Attack	Average queries	Average L2	Success rate
Boundary attack	123,407	5.98	100%
Opt-attack	71,100	6.98	100%
LFBA	30,000	6.34	100%
QL-attack	28,174	8.27	85.4%
Bandits-TD	5,251	5.00	80.5%
SimBA	1,665	3.98	98.6%
SimBA-DCT	1,283	3.06	97.8%
QL-attack	20,614	11.39	98.7%
AutoZOOM	13,525	26.74	100%
SimBA	7,899	9.53	100%
SimBA-DCT	8,824	7.04	96.5%

• SimBAは、ImageNetにおいて未ターゲット攻撃とターゲット付き攻撃の双方で、強力なベースラインよりもはるかに少ないクエリ数で高い成功率を達成する。
• ピクセル空間のSimBAと低周波数DCT空間のSimBA-DCTは、競合よりはるかに少ないクエリでほぼ100%に近い成功率を達成する（例：未ターゲットで約1,665の平均クエリ、SimBA-DCTは約1,283）。
• SimBA-DCTはしばしば収束が速いが、厳しいクエリ上限内で画像の一部で失敗することがあるのに対し、SimBAは画像間でより一貫した成功を維持する。
• Google Cloud Visionでは、SimBAは5,000件のAPI呼び出し内で約70%の成功を達成し、同じ予算下のLFBAを上回る。
• SimBAおよびSimBA-DCTによって生成された摂動は、QL-attackより平均L2ノルムが大幅に小さく、より効率的な摂動を示す。
• この攻撃は複数のアーキテクチャ（ResNet-50, DenseNet-121）で頑健だが、いくつかのネットワーク（例：Inception v3）は成功により多くのクエリを必要とする。