[论文解读] A Zeroth-Order Block Coordinate Descent Algorithm for Huge-Scale Black-Box Optimization
该论文提出 ZO-BCD，一种用于大规模黑箱优化的零阶块坐标下降算法，其查询复杂度和计算复杂度在维度 $d$ 上为次线性。该方法通过在小波域中操作，实现了对神经网络分类器的高效对抗攻击，在音频分类器上实现了 97.9% 的成功率，且失真极小，展示了在超过一百万维问题上的最先进性能。
We consider the zeroth-order optimization problem in the huge-scale setting, where the dimension of the problem is so large that performing even basic vector operations on the decision variables is infeasible. In this paper, we propose a novel algorithm, coined ZO-BCD, that exhibits favorable overall query complexity and has a much smaller per-iteration computational complexity. In addition, we discuss how the memory footprint of ZO-BCD can be reduced even further by the clever use of circulant measurement matrices. As an application of our new method, we propose the idea of crafting adversarial attacks on neural network based classifiers in a wavelet domain, which can result in problem dimensions of over 1.7 million. In particular, we show that crafting adversarial examples to audio classifiers in a wavelet domain can achieve the state-of-the-art attack success rate of 97.9%.
研究动机与目标
- 解决 $d > 10^7$ 的大规模设置下零阶优化的挑战，此时标准向量操作不可行。
- 克服传统零阶方法中查询复杂度与 $d$ 线性增长的高昂代价。
- 开发一种在 $d$ 上具有次线性查询复杂度和每轮迭代计算成本的算法，从而实现对前所未有的大规模问题的优化。
- 通过使用循环测量矩阵降低内存占用，使该方法在实际高维问题中具有可行性。
- 通过在小波域中使用小波域扰动对神经网络分类器进行对抗攻击，证明该方法的有效性，实现高成功率和低失真。
提出的方法
- 提出 ZO-BCD，一种使用零阶梯度估计按顺序更新变量块的零阶块坐标下降算法。
- 使用具有循环矩阵的随机投影，以降低内存和计算成本，同时保持查询效率。
- 利用梯度结构中的稀疏性（例如，$s$-稀疏梯度）实现查询复杂度随 $s$ 而增长，而非随 $d$ 增长。
- 通过仅使用函数评估来估计梯度，将算法应用于黑箱优化。
- 将输入空间转换到小波域，以利用稀疏性并降低有效维度，从而生成对抗性扰动。
- 采用分块更新策略，避免全维向量操作，从而实现对 $d > 10^6$ 的可扩展性。
实验结果
研究问题
- RQ1零阶优化算法是否能在大规模黑箱问题中实现 $d$ 上的次线性查询复杂度？
- RQ2此类算法是否能在保持收敛性的同时，维持低每轮迭代计算和内存成本？
- RQ3该方法是否能有效应用于高维空间中的对抗攻击生成，例如小波变换后的音频或图像？
- RQ4在小波域中操作是否能实现更低的失真，同时在黑箱设置中保持高攻击成功率？
- RQ5使用循环测量矩阵是否能显著降低内存占用，而不牺牲查询效率？
主要发现
- ZO-BCD 在使用小波域扰动时，对音频分类器实现了 97.93% 的目标攻击成功率，平均失真为 -6.32 dB。
- 该方法实现了对 ImageNet 分类的 Inception-v3 模型的对抗攻击，创下 $\ell_2$ 失真最低记录（13.7），成功率高达 96%。
- 该算法的查询复杂度在 $d$ 上呈次线性增长，在超过 170 万维的问题上实现了优异性能。
- 通过使用循环测量矩阵，内存使用量显著降低，使超大规模问题的可行计算成为可能。
- 小波域攻击框架在音频分类器上的成功率和失真方面均优于先前的最先进方法。
- 实验结果表明，即使攻击维度超过一百万，ZO-BCD 也能以极小的感知失真生成对抗样本。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。