[論文レビュー] Subspace Attack: Exploiting Promising Subspaces for Query-Efficient Black-box Attacks

Ziang Yan, Yiwen Guo+1 more|arXiv (Cornell University)|Jun 11, 2019

Adversarial Robustness in Machine Learning参考文献 7被引用数 44

ひとこと要約

本論文は Subspace Attack を提案する。参照モデルからの事前勾配を用いて低次元サブスペースを構成し勾配推定を行い、CIFAR-10 および ImageNet に対するブラックボックス攻撃のクエリ効率を大幅に向上させ、失敗率を低減する。

ABSTRACT

Unlike the white-box counterparts that are widely studied and readily accessible, adversarial examples in black-box settings are generally more Herculean on account of the difficulty of estimating gradients. Many methods achieve the task by issuing numerous queries to target classification systems, which makes the whole procedure costly and suspicious to the systems. In this paper, we aim at reducing the query complexity of black-box attacks in this category. We propose to exploit gradients of a few reference models which arguably span some promising search subspaces. Experimental results show that, in comparison with the state-of-the-arts, our method can gain up to 2x and 4x reductions in the requisite mean and medium numbers of queries with much lower failure rates even if the reference models are trained on a small and inadequate dataset disjoint to the one for training the victim model. Code and models for reproducing our results will be made publicly available.

研究の動機と目的

• 現実的な脅威モデルにおけるブラックボックス敵対的攻撃のクエリ複雑性の低減を動機づける。
• 参照モデルからの事前勾配を活用するサブスペースベースの勾配推定手法を提案する。
• サブスペースの次元数、ドロップアウトベースの探索、参照モデルの選択が攻撃の効率性と成功に与える影響を調査する。
• 比較的小さで非連結な訓練データセットからの勾配でも攻撃のサブスペース指針が強力になり得ることを示す。

提案手法

• 複数の参照モデルからの勾配を priors として用い、低次元サブスペースを構築する。
• サブスペース内でバンディット/ゼロ次オーダー最適化を用いて勾配を推定し PGD 更新を行う。
• ドロップアウト/層技術を取り入れて多様な事前勾配を生成し、探索を改善する。
• サブスペース全体の利用で勾配評価回数を減らすため、座標デセント更新のような更新を適用する。
• CIFAR-10 と ImageNet で非ターゲット・ターゲットの l∞-bounded 攻撃を評価し、NES および Bandits-TD と比較する。

実験結果

リサーチクエスチョン

• RQ1 少数の参照モデルからの事前勾配が、効率的なブラックボックス攻撃を可能にするサブスペースを形成できるか。
• RQ2 サブスペースの次元数と参照モデルの品質/多様性が攻撃の成功とクエリ数にどう影響するか。
• RQ3 探索サブスペースと被害モデル勾配の間のミスマッチに対するドロップアウトベースの探索が堅牢性を向上させるか。
• RQ4 サブスペース攻撃を用いて現代データセット/モデル（CIFAR-10, ImageNet）に対する実務的なクエリ効率の向上がどれほど得られるか。
• RQ5 提案手法はさまざまな設定（非ターゲット/ターゲット、異なる被害モデル）で最先端のブラックボックス攻撃と比較してどうか。

主な発見

データセット	被害モデル	手法	参照モデル	平均クエリ数	中央値クエリ数	失敗率
CIFAR-10	WRN	NES [13]	-	1882	1300	3.5%
CIFAR-10	Bandits-TD [14]	-	713	266	1.2%
CIFAR-10	Ours	AlexNet+VGGNets	392	60	0.3%
CIFAR-10	GDAS	NES [13]	-	1032	800	0.0%
CIFAR-10	Bandits-TD [14]	-	373	128	0.0%
CIFAR-10	Ours	AlexNet+VGGNets	250	58	0.0%
CIFAR-10	PyramidNet*	NES [13]	-	1571	1300	5.1%
CIFAR-10	Bandits-TD [14]	-	1160	610	1.2%
CIFAR-10	Ours	AlexNet+VGGNets	555	184	0.7%
ImageNet	Inception-v3	NES [13]	-	1427	800	19.3%
ImageNet	Bandits-TD [14]	-	887	222	4.2%
ImageNet	Ours	Original ResNets	462	96	1.1%
ImageNet	PNAS-Net	NES [13]	-	2182	1300	38.5%
ImageNet	Bandits-TD [14]	-	1437	552	12.1%
ImageNet	Ours	Original ResNets	680	160	4.2%
ImageNet	SENet	NES [13]	-	1759	900	17.9%
ImageNet	Bandits-TD [14]	-	1055	300	6.4%
ImageNet	Ours	Original ResNets	456	66	1.9%

• サブスペース攻撃は CIFAR-10 および ImageNet において平均で最大 2 倍、中央値で最大 4 倍のクエリ削減を達成し、従来手法よりも失敗率が低い。
• 事前勾配を用いた勾配に跨るサブスペースは、無作為なサブスペースよりも被害勾配と良く整合し、失敗を減らす。
• 複数の参照モデルとドロップアウトベースの探索を用いると、参照データが限定的または離散的な場合でも失敗率を下げ、堅牢性が向上する。
• CIFAR-10 では平均/中央値のクエリと失敗率が被害モデル（WRN、GDAS、PyramidNet）間で改善され、ImageNet では Inception-v3、PNAS-Net、SENet を跨って改善が持続する。
• 参照モデルの数を増やすほど一般的にクエリ数と失敗率が低下する；サブスペースを全て使用する座標降下更新は全勾配推定と同等の計算であるが計算量は高い。
• 参照モデルが被害モデルの訓練データと異なるデータ（CIFAR-10.1）で訓練されていても攻撃成功率は高い。