[論文レビュー] Subspace Attack: Exploiting Promising Subspaces for Query-Efficient\n Black-box Attacks

Ziang Yan, Yiwen Guo+1 more|arXiv (Cornell University)|Jun 11, 2019

Adversarial Robustness in Machine Learning被引用数 59

ひとこと要約

この論文は Subspace Attack を提案する。これは参照モデルのセットから得られる勾配を用いて低次元のサブスペースを定義し、ゼロ階微分推定のためのクエリ効率を大幅に向上させ、従来の黒箱攻撃に比べて大きな効果を挙げる。Dropout ベースの事前勾配はさらなる性能向上をもたらし、訓練データが別個に分割されていても効果的な攻撃を可能にする。

ABSTRACT

Unlike the white-box counterparts that are widely studied and readily\naccessible, adversarial examples in black-box settings are generally more\nHerculean on account of the difficulty of estimating gradients. Many methods\nachieve the task by issuing numerous queries to target classification systems,\nwhich makes the whole procedure costly and suspicious to the systems. In this\npaper, we aim at reducing the query complexity of black-box attacks in this\ncategory. We propose to exploit gradients of a few reference models which\narguably span some promising search subspaces. Experimental results show that,\nin comparison with the state-of-the-arts, our method can gain up to 2x and 4x\nreductions in the requisite mean and medium numbers of queries with much lower\nfailure rates even if the reference models are trained on a small and\ninadequate dataset disjoint to the one for training the victim model. Code and\nmodels for reproducing our results will be made publicly available.\n

研究の動機と目的

• ブラックボックス攻撃における被害モデルへのアクセス制限下でのクエリ複雑性の削減を動機づける。
• 参照モデルからの事前勾配を利用するサブスペースベースの勾配推定法を提案する。
• 有望なサブスペースに探索を制限することで、クエリ効率を向上させつつ失敗率を低く保つことを示す。
• 座標下降法やドロップアウト／層といった実用的技法を検討し、効率と探索を強化する。

提案手法

• 参照モデル群からの勾配（prior gradients）によって張られる低次元サブスペースを構築する。
• サブスペース内で Bandit に類似したゼロ次更新を用い、PGD 風の攻撃の勾配方向を推定する。
• 複数の事前勾配が利用可能な場合の計算負荷を低減するため、座標-descent 的最適化を導入する。
• 参照モデルに対して dropout／層の技術を適用し、多様な prior gradients を生成してサブスペース整合性を改善する。
• サブスペース内で推定勾配の符号に沿って更新し、l_infinity バジェットにクリップすることで反復的に敵対的例を作成する。

実験結果

リサーチクエスチョン

• RQ1 複数の参照モデルからの勾配情報をどのように活用して黒箱攻撃の低次元サブスペースを定義できるか。
• RQ2 prior 勾配により張られたサブスペースに探索を制限することで、クエリ回数を減らしつつ攻撃成功率を維持できるか。
• RQ3 座標-descent 最適化と Dropout ベースのprior は Subspace 攻撃の実用性と頑健性を改善できるか。
• RQ4 CIFAR-10 および ImageNet で、さまざまな被害モデル／参照モデルの組み合わせで手法はどのように機能するか。
• RQ5 参照モデルの数と選択が攻撃有効性に与える影響はどのようか。

主な発見

データセット	被害モデル	手法	参照モデル	平均クエリ数	中央値クエリ数	失敗率
CIFAR-10	WRN	NES [13]	-	1882	1300	3.5%
CIFAR-10	WRN	Bandits-TD [14]	-	713	266	1.2%
CIFAR-10	WRN	Ours	AlexNet+VGGNets	392	60	0.3%
CIFAR-10	WRN	Ours	AlexNet+VGGNets	250	58	0.0%
CIFAR-10	WRN	Ours	AlexNet+VGGNets	555	184	0.7%
ImageNet	Inception-v3	NES [13]	-	1427	800	19.3%
ImageNet	Inception-v3	Bandits-TD [14]	-	887	222	4.2%
ImageNet	Inception-v3	Ours	Original ResNets	462	96	1.1%
ImageNet	PNAS-Net	NES [13]	-	2182	1300	38.5%
ImageNet	PNAS-Net	Bandits-TD [14]	-	1437	552	12.1%
ImageNet	PNAS-Net	Ours	Original ResNets	680	160	4.2%
ImageNet	SENet	NES [13]	-	1759	900	17.9%
ImageNet	SENet	Bandits-TD [14]	-	1055	300	6.4%
ImageNet	SENet	Ours	Original ResNets	456	66	1.9%

• サブスペース攻撃は CIFAR-10 および ImageNet において NES および Bandits-TD と比べて平均クエリ数と中央値クエリ数を大幅に削減する。
• 複数の参照モデルからの prior 勾配を用いると、ランダムなサブスペースよりも被害勾配との整合性が高くなり、失敗率を低減する。
• 複数の priors を用いた座標-descent は、全サブスペース更新と同等の効果を、計算コストを抑えて達成する。
• Dropout ベースの priors は探索を改善し、過度なクエリ負荷をかけずに失敗率を低減する。
• 別個のデータセットで訓練された参照モデルを用いても、手法は強力な攻撃性能を達成し、しばしばベースラインを上回る。