[論文レビュー] Learning Black-Box Attackers with Transferable Priors and Query Feedback

Jiancheng Yang, Yangzhou Jiang+3 more|arXiv (Cornell University)|Oct 21, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用数 42

ひとこと要約

論文はLeBAを紹介します。これは転移可能性ベースのステップとクエリベースのステップを交互に行い、High-Order Gradient Approximationを用いてオンラインで代替モデルを学習する黒箱攻撃で、ImageNet防御に対する効率と成功率を大幅に向上させます。

ABSTRACT

This paper addresses the challenging black-box adversarial attack problem, where only classification confidence of a victim model is available. Inspired by consistency of visual saliency between different vision models, a surrogate model is expected to improve the attack performance via transferability. By combining transferability-based and query-based black-box attack, we propose a surprisingly simple baseline approach (named SimBA++) using the surrogate model, which significantly outperforms several state-of-the-art methods. Moreover, to efficiently utilize the query feedback, we update the surrogate model in a novel learning scheme, named High-Order Gradient Approximation (HOGA). By constructing a high-order gradient computation graph, we update the surrogate model to approximate the victim model in both forward and backward pass. The SimBA++ and HOGA result in Learnable Black-Box Attack (LeBA), which surpasses previous state of the art by considerable margins: the proposed LeBA significantly reduces queries, while keeping higher attack success rates close to 100% in extensive ImageNet experiments, including attacking vision benchmarks and defensive models. Code is open source at https://github.com/TrustworthyDL/LeBA.

研究の動機と目的

• 黒箱対向 adversarial attacks が、被害者モデルの信頼度のみがアクセス可能な状況での動機づけと解決を図る。
• 転送性ベースの攻撃とクエリベースの攻撃をサ surrogate 模型と組み合わせ、単純で強力なベースライン（SimBA++）を開発する。
• 限られたクエリフィードバックを用いてサ surrogate 模型を更新するHigh-Order Gradient Approximation（HOGA）を提案する。
• LeBAを提示し、転送可能な surrogate を学習させ、大規模ベンチマークで低いクエリ数で高い攻撃成功率を達成する。
• surrogate の選択と学習戦略の影響を分析し、防御モデルに対する頑健性を示す。

提案手法

• surrogate 模型を活用してクエリ摂動を導くだけでなく空間的 priors を統合するための SimBA+ および SimBA++ を導入する。
• 転送性ベースの攻撃 TIMI とクエリベースの SimBA 風更新を交互フレームワーク（SimBA++）で組み合わせる。
• LeBA を提案し、High-Order Gradient Approximation（HOGA）を用いてクエリフィードバックから学習可能な surrogate 模型を更新する。
• surrogate 勾配を被害者勾配に合わせるための前向き・後向き損失（FLとBL）と勾配補償係数を定義する。
• クエリサンプルのバッファと動的 surrogate 更新レジームを用いて効率と転送性を向上させる。
• 再現性のある評価のため open-source 実装（LeBA）を提供する。

実験結果

リサーチクエスチョン

• RQ1 surrogate 模型に導かれた転送性情報を用いた攻撃は黒箱攻撃の効率を改善できるか。
• RQ2 転送性ベースの攻撃とクエリベースの攻撃を交互に実行することで、どちらか一方のアプローチだけより成功率が高くなるか。
• RQ3 クエリフィードバックで更新される学習可能な surrogate 模型（HOGA）は、被害者モデルを近似してクエリ数をさらに削減できるか。
• RQ4 surrogate の選択と勾配補償が ImageNet 上の強力な防御に対する LeBA の性能にどのような影響を与えるか。

主な発見

Method	ASR Inception-V3	AVG.Q Inception-V3	ASR ResNet-50	AVG.Q ResNet-50	ASR VGG-16	AVG.Q VGG-16	ASR Inception-V4	AVG.Q Inception-V4	ASR IncRes-V2	AVG.Q IncRes-V2
NES	88.2%	1726.3	82.7%	1632.4	84.8%	1119.6	80.7%	2254.3	52.5%	3333.3
Bandits TD	97.7%	836.1	93.0%	765.3	91.1%	275.9	96.2%	1170.9	89.7%	1569.3
Subspace	96.6%	1635.8	94.4%	1078.7	96.2%	1085.8	94.7%	1838.2	91.2%	1780.6
RGF	97.7%	1313.5	97.5%	1340.2	99.7%	823.2	93.2%	1860.1	85.6%	2135.3
P-RGF	97.6%	750.8	98.7%	229.6	99.9%	685.5	96.5%	1095.6	88.9%	1380.2
P-RGF D	99.0%	637.4	99.3%	270.5	99.8%	393.1	98.3%	913.6	93.6%	1364.5
Square	99.4%	351.9	99.8%	401.4	100.0%	142.3	98.3%	475.6	94.9%	670.3
TIMI	49.0%	-	68.6%	-	51.3%	-	44.3%	-	44.5%	-
SimBA	97.8%	874.5	99.6%	873.9	100.0%	423.3	96.2%	1149.8	92.0%	1516.1
SimBA+	98.2%	725.2	99.7%	717.0	100.0%	365.9	946.2	92.5%	1234.7
SimBA++	99.2%	295.7	99.9%	187.3	99.9%	166.0	98.3%	420.2	95.8%	555.1
LeBA	99.4%	243.8	99.9%	178.7	99.9%	145.5	98.7%	347.4	96.6%	514.2

• LeBA は複数の被害モデルでImageNet上の平均クエリ数を大幅に削減しつつ、攻撃成功率をほぼ100%に近づける。
• SimBA++ および LeBA は、特に防御モデルに対して、効率と有効性の両方で従来の最先端黒箱攻撃を上回る。
• 学習された surrogate（HOGA による）を使用すると、新しい攻撃データに転送性が移り、転送性ベースの攻撃と組み合わせた場合に性能が向上する。
• surrogate モデルの選択（ResNet 系統や VGG-16）に関係なく、SimBA++ よりクエリ効率が一貫して改善され、HOGA の surrogate 選択に対する堅牢性が示される。
• アブレーションにより、適応的勾配補償と前向き/後向き損失の組み合わせが LeBA の最良の性能を生むことが示される。
• 防御シナリオ（JPEG、去ノイズ処理、敵対的学習）においても、LeBA は prior 方法より少ないクエリで高い ASR を維持する。