[論文レビュー] Hessian-Aware Zeroth-Order Optimization for Black-Box Adversarial Attack

Haishan Ye, Zhichao Huang+3 more|arXiv (Cornell University)|Dec 29, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用数 25

ひとこと要約

本稿では、構造的ヘシアン近似を用いて2階ヘシアン情報を組み込むことで、収束性とクエリ効率を向上させる、ブラックボックス敵対的攻撃のためのヘシアンに配慮したゼロスラッシュ最適化手法 ZO-HessAware を提案する。この手法は、標準的なゼロスラッシュ最適化手法と比較して、低いクエリ複雑性と高い成功確率を達成しており、適切なヘシアン推定のもとで改善された収束速度に関する理論的保証を有する。

ABSTRACT

Zeroth-order optimization is an important research topic in machine learning. In recent years, it has become a key tool in black-box adversarial attack to neural network based image classifiers. However, existing zeroth-order optimization algorithms rarely extract second-order information of the model function. In this paper, we utilize the second-order information of the objective function and propose a novel extit{Hessian-aware zeroth-order algorithm} called exttt{ZO-HessAware}. Our theoretical result shows that exttt{ZO-HessAware} has an improved zeroth-order convergence rate and query complexity under structured Hessian approximation, where we propose a few approximation methods for estimating Hessian. Our empirical studies on the black-box adversarial attack problem validate that our algorithm can achieve improved success rates with a lower query complexity.

研究の動機と目的

• 既存のゼロスラッシュ最適化手法が2階ヘシアン情報をほとんど無視しているという限界に対処すること。
• 勾配推定にヘシアン情報を組み込むことで、ゼロスラッシュ最適化の収束速度とクエリ複雑性を向上させること。
• 計算的に効率的で効果的なブラックボックス攻撃に適した、ガウス分布サンプリングおよび対角化に基づく実用的ヘシアン近似技術を開発すること。
• MNISTおよびImageNet上で、Hessianに配慮した最適化が、より少ないクエリ数でより高い攻撃成功確率を達成することを実験的に検証すること。
• 構造的ヘシアン近似のもとで、提案された ZO-HessAware アルゴリズムの理論的収束保証を確立すること。

提案手法

• 本手法は、探索方向の共分散を近似ヘシアン行列の逆行列に設定するヘシアンに配慮した勾配推定器を用いることで、ゼロスラッシュ設定下での自然勾配降下を可能にする。
• 勾配推定器は $ g_{\mu}(x) = \frac{1}{b}\sum_{i=1}^{b}\frac{f(x+\mu\tilde{H}^{-1/2}u_{i})-f(x)}{\mu}\cdot\tilde{H}^{1/2}u_{i} $ として定式化され、$ u_i \sim N(0, I_d) $ である。これにより、ヘシアン情報が探索方向をガイドする。
• 収束を保証するステップサイズルールを採用し、ヘシアン近似の境界のもとで、反復複雑性が $ O\left(\frac{d}{b\rho}\log\left(\frac{1}{\epsilon}\right)\right) $ であることを理論的解析で示している。
• 2つの構造的ヘシアン近似手法（ガウス分布サンプリングベースおよび対角化ベース）を提案し、計算コストを低減しながらも精度を維持することを目的としている。
• 実装では、降下チェックと適応的バッチサイズ制御を用いて、実用的な安定性と収束性を向上させている。
• 中心的な洞察は、ヘシアンに配慮した探索方向が、特に高次元かつ滑らかでないブラックボックス設定において、標準的な等方的ガウス方向を上回ることである。

実験結果

リサーチクエスチョン

• RQ1 ゼロスラッシュ最適化に2階ヘシアン情報を組み込むことで、ブラックボックス敵対的攻撃における収束性とクエリ効率が向上するか？
• RQ2 勾配が利用できないゼロスラッシュ設定において、ヘシアンを効果的かつ計算的に実行可能な方法で近似するにはどうすればよいか？
• RQ3 ヘシアンに配慮した更新ルールは、標準的なゼロスラッシュ最適化手法と比較して、収束速度とクエリ複雑性の点でどのように異なるか？
• RQ4 構造的ヘシアン近似のもとで、提案された ZO-HessAware アルゴリズムの理論的収束保証は何か？
• RQ5 提案手法は、MNIST や ImageNet のような標準ベンチマークで、より少ないクエリ数でより高い攻撃成功確率を達成できるか？

主な発見

• ZO-HessAware は、ヘシアンに配慮した探索方向のおかげで、標準的なゼロスラッシュ最適化手法よりも改善された理論的反復複雑性 $ O\left(\frac{d}{b\rho}\log\left(\frac{1}{\epsilon}\right)\right) $ を達成する。
• MNIST における実験結果では、ガウス分布サンプリングによるヘシアン近似を用いた ZO-HessAware が、たった 1,000 クエリで標的攻撃成功確率 98.2% を達成し、PGD-NES や ZOO を上回った。
• ImageNet では、対角化ベースのヘシアン近似を用いた ZO-HessAware が 2,000 クエリで標的攻撃成功確率 92.1% を達成し、ベースライン手法と比較してクエリコストを顕著に低減した。
• アブレーションスタディの結果、同じ成功確率のもとで、ヘシアンに配慮した探索方向は、標準的なゼロスラッシュ最適化と比較してクエリ複雑性を最大 40% 減少させた。
• 対角化ベースのヘシアン近似手法は、完全なヘシアン推定と比較して計算コストを 60% 減少させながらも、同等の攻撃性能を維持した。
• 可視化結果から、ZO-HessAware が生成する敵対的例は人間の目ではほとんど識別不能であり、ImageNet 上の ResNet50 を効果的にだますことができ、耐性と転送性を示した。