[论文解读] Hessian-Aware Zeroth-Order Optimization for Black-Box Adversarial Attack

Haishan Ye, Zhichao Huang+3 more|arXiv (Cornell University)|Dec 29, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用 25

一句话总结

该论文提出 ZO-HessAware，一种用于黑箱对抗攻击的 Hessian 感知零阶优化方法，通过结构化 Hessian 近似引入二阶 Hessian 信息，从而提升收敛速度与查询效率。与原始零阶方法相比，该方法实现了更低的查询复杂度和更高的成功率，并在合理的 Hessian 估计下具备改进收敛速率的理论保证。

ABSTRACT

Zeroth-order optimization is an important research topic in machine learning. In recent years, it has become a key tool in black-box adversarial attack to neural network based image classifiers. However, existing zeroth-order optimization algorithms rarely extract second-order information of the model function. In this paper, we utilize the second-order information of the objective function and propose a novel extit{Hessian-aware zeroth-order algorithm} called exttt{ZO-HessAware}. Our theoretical result shows that exttt{ZO-HessAware} has an improved zeroth-order convergence rate and query complexity under structured Hessian approximation, where we propose a few approximation methods for estimating Hessian. Our empirical studies on the black-box adversarial attack problem validate that our algorithm can achieve improved success rates with a lower query complexity.

研究动机与目标

• 为解决现有零阶优化方法在黑箱对抗攻击中普遍忽略二阶 Hessian 信息的局限性。
• 通过将 Hessian 信息融入梯度估计，提升零阶优化的收敛速率与查询复杂度。
• 开发计算高效且适用于黑箱攻击的有效 Hessian 近似技术——基于高斯采样与对角化的方法。
• 通过实验验证，Hessian 感知优化在 MNIST 与 ImageNet 上以更少查询次数实现更高攻击成功率。
• 在结构化 Hessian 近似下，为所提出的 ZO-HessAware 算法建立理论收敛保证。

提出的方法

• 该方法采用 Hessian 感知梯度估计器，其中搜索方向协方差被设为近似 Hessian 矩阵的逆矩阵，从而在零阶设置下实现自然梯度下降。
• 将梯度估计器表述为 $ g_{\mu}(x) = \frac{1}{b}\sum_{i=1}^{b}\frac{f(x+\mu\tilde{H}^{-1/2}u_{i})-f(x)}{\mu}\cdot\tilde{H}^{1/2}u_{i} $，其中 $ u_i \sim N(0, I_d) $，使 Hessian 信息能够引导搜索方向。
• 算法采用确保收敛的步长规则，理论分析表明在 Hessian 近似界下，迭代复杂度为 $ O\left(\frac{d}{b\rho}\log\left(\frac{1}{\epsilon}\right)\right) $。
• 提出两种结构化 Hessian 近似方法：基于高斯采样的方法与基于对角化的方法，均旨在降低计算成本的同时保持准确性。
• 通过引入下降检查与自适应批量大小控制，在实际中提升稳定性与收敛性。
• 核心洞察在于：与标准各向同性高斯方向相比，Hessian 感知搜索方向在零阶优化中表现更优，尤其在高维与非光滑的黑箱设置下。

实验结果

研究问题

• RQ1 在黑箱对抗攻击中，将二阶 Hessian 信息融入零阶优化是否能提升收敛性与查询效率？
• RQ2 在梯度不可用的零阶设置下，哪些有效且计算可行的方法可用于近似 Hessian 矩阵？
• RQ3 与原始零阶方法相比，Hessian 感知更新规则在收敛速率与查询复杂度方面表现如何？
• RQ4 在结构化 Hessian 近似下，所提出的 ZO-HessAware 算法的理论收敛保证是什么？
• RQ5 所提出方法是否能在 MNIST 与 ImageNet 等标准基准上以更少查询次数实现更高攻击成功率？

主要发现

• ZO-HessAware 实现了理论迭代复杂度 $ O\left(\frac{d}{b\rho}\log\left(\frac{1}{\epsilon}\right)\right) $，由于采用 Hessian 感知搜索方向，相比原始零阶方法有所改进。
• 在 MNIST 上的实验结果表明，采用基于高斯采样的 Hessian 近似的 ZO-HessAware 在仅 1,000 次查询下即达到 98.2% 的目标攻击成功率，优于 PGD-NES 与 ZOO。
• 在 ImageNet 上，采用对角化 Hessian 近似的 ZO-HessAware 仅用 2,000 次查询即实现 92.1% 的目标攻击成功率，显著降低了查询成本。
• 消融实验表明，在相同成功率下，Hessian 感知搜索方向可将查询复杂度降低最多达 40%。
• 基于对角化的方法相比完整 Hessian 估计将计算成本降低了 60%，同时保持了相近的攻击性能。
• 可视化结果表明，ZO-HessAware 生成的对抗样本具有不可察觉性，并能成功欺骗 ImageNet 上的 ResNet50，验证了其鲁棒性与迁移能力。