[论文解读] DeepZero: Scaling up Zeroth-Order Optimization for Deep Model Training

Aochuan Chen, Yimeng Zhang+8 more|arXiv (Cornell University)|Oct 3, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

DeepZero 提出了一种可扩展的零阶（ZO）优化框架，用于从零开始训练深度神经网络（DNN），克服了以往在准确率和效率方面的局限。通过采用坐标级梯度估计、基于稀疏性的剪枝方法以及前向并行化的特征重用技术，DeepZero 在 CIFAR-10 上的 ResNet-20 模型上实现了最先进（SOTA）的准确率，其性能接近一阶训练方法，同时在对抗防御和偏微分方程（PDE）误差校正等实际黑箱应用中展现出可行性。

ABSTRACT

Zeroth-order (ZO) optimization has become a popular technique for solving machine learning (ML) problems when first-order (FO) information is difficult or impossible to obtain. However, the scalability of ZO optimization remains an open problem: Its use has primarily been limited to relatively small-scale ML problems, such as sample-wise adversarial attack generation. To our best knowledge, no prior work has demonstrated the effectiveness of ZO optimization in training deep neural networks (DNNs) without a significant decrease in performance. To overcome this roadblock, we develop DeepZero, a principled ZO deep learning (DL) framework that can scale ZO optimization to DNN training from scratch through three primary innovations. First, we demonstrate the advantages of coordinatewise gradient estimation (CGE) over randomized vector-wise gradient estimation in training accuracy and computational efficiency. Second, we propose a sparsityinduced ZO training protocol that extends the model pruning methodology using only finite differences to explore and exploit the sparse DL prior in CGE. Third, we develop the methods of feature reuse and forward parallelization to advance the practical implementations of ZO training. Our extensive experiments show that DeepZero achieves state-of-the-art (SOTA) accuracy on ResNet-20 trained on CIFAR-10, approaching FO training performance for the first time. Furthermore, we show the practical utility of DeepZero in applications of certified adversarial defense and DL-based partial differential equation error correction, achieving 10-20% improvement over SOTA. We believe our results will inspire future research on scalable ZO optimization and contribute to advancing DL with black box. Codes are available at https://github.com/OPTML-Group/DeepZero.

研究动机与目标

• 解决零阶（ZO）优化在深度学习中因缺乏可扩展性而导致的训练瓶颈，此前的方法难以有效训练大规模模型。
• 克服高维 DNN 中基于有限差分的 ZO 梯度估计所导致的高偏差与高计算成本问题。
• 在无计算图或反向传播访问的情况下，实现端到端的 ZO 训练，支持黑箱与硬件受限环境下的应用。
• 在真实世界应用中展示 ZO 训练的实际效用，例如经认证的对抗防御与物理信息驱动的 PDE 误差校正。
• 在保持查询效率与模型可解释性的同时，通过稀疏性实现接近一阶方法的准确率，且不降低性能。

提出的方法

• 采用坐标级梯度估计（CGE）替代随机向量级估计（RGE），降低方差并提升深层网络中的收敛性。
• 提出一种基于稀疏性的 ZO 训练协议，利用模型剪枝技术，在有限差分梯度估计过程中挖掘深层神经网络的固有稀疏性。
• 实现特征重用与前向并行化，减少冗余的前向传播次数，加速多参数并行下的 ZO 训练。
• 设计一种无需计算图的训练流水线，完全依赖模型查询，支持在黑箱或资源受限环境中的部署。
• 将 ZO 优化框架集成至 Adam 优化器中，支持自适应学习率与稳定的训练动态。
• 通过统一的损失函数形式，将该框架应用于监督学习（如 CIFAR-10）与物理信息学习（如 PDE 误差校正）任务。

Figure 1: Overview of our DeepZero framework. A: ZO gradient estimation via model queries (Sec. 3 ). B: Model pruning guides gradient sparsity (Sec. 4 ). C: Acceleration by parallelization and feature reuse (Sec. 5 ). D: DeepZero comparison with the computational graph free baseline Pattern Search (

实验结果

研究问题

• RQ1 在深度 ZO 优化中，坐标级梯度估计（CGE）是否在训练准确率与计算效率方面优于向量级随机估计（RGE）？
• RQ2 如何利用模型稀疏性来提升高维 DNN 中 ZO 训练的收敛性与稳定性？
• RQ3 在大规模 DNN 训练中，特征重用与前向并行化能在多大程度上降低 ZO 优化的查询成本？
• RQ4 ZO 优化能否在从零开始训练深层模型时，实现与一阶方法相当的性能？
• RQ5 所提出的 ZO 框架能否在实际黑箱学习任务（如经认证的对抗防御与 PDE 误差校正）中有效应用？

主要发现

• DeepZero 在 CIFAR-10 上使用 ZO 优化训练 ResNet-20 模型时，实现了最先进（SOTA）的准确率，其性能接近一阶训练方法。
• 与随机向量级估计相比，坐标级梯度估计（CGE）显著提升了训练准确率并降低了计算成本，尤其在深层网络中表现更优。
• 基于稀疏性的训练协议通过在有限差分估计中利用深层模型的固有稀疏性，实现了稳定且高效的 ZO 训练。
• 特征重用与前向并行化减少了冗余的模型查询，使 ZO 训练在实际场景中加速达 3.5 倍。
• 在经认证的对抗防御与物理信息驱动的 PDE 误差校正任务中，DeepZero 相较于最先进方法实现了 10–20% 的性能提升。
• 该框架证明了无需计算图或反向传播即可实现深层模型的端到端 ZO 训练，支持在黑箱与片上学习场景中的部署。

Figure A1: Illustration of the simple CNN considered with different depths.