[论文解读] ZeroSARAH: Efficient Nonconvex Finite-Sum Optimization with Zero Full Gradient Computation

Zhize Li, Slavomír Hanzely+1 more|arXiv (Cornell University)|Mar 2, 2021

Sparse and Compressive Sensing Techniques参考文献 29被引用 11

一句话总结

ZeroSARAH 提出了一种新颖的方差缩减优化算法，用于非凸有限和问题，通过利用自适应随机梯度追踪，完全消除了初始化或周期性阶段的完整梯度计算需求。其收敛速率达到了 $ O\big(\frac{\tilde{L}\tilde{\rho}}{\tilde{\rho}^2}\big) $ 的最先进水平，在某些场景下优于现有 SARAH 变体，且无需额外假设（如有界方差）。

ABSTRACT

We propose ZeroSARAH -- a novel variant of the variance-reduced method SARAH (Nguyen et al., 2017) -- for minimizing the average of a large number of nonconvex functions $\frac{1}{n}\sum_{i=1}^{n}f_i(x)$. To the best of our knowledge, in this nonconvex finite-sum regime, all existing variance-reduced methods, including SARAH, SVRG, SAGA and their variants, need to compute the full gradient over all $n$ data samples at the initial point $x^0$, and then periodically compute the full gradient once every few iterations (for SVRG, SARAH and their variants). Note that SVRG, SAGA and their variants typically achieve weaker convergence results than variants of SARAH: $n^{2/3}/ε^2$ vs. $n^{1/2}/ε^2$. Thus we focus on the variant of SARAH. The proposed ZeroSARAH and its distributed variant D-ZeroSARAH are the \emph{first} variance-reduced algorithms which \emph{do not require any full gradient computations}, not even for the initial point. Moreover, for both standard and distributed settings, we show that ZeroSARAH and D-ZeroSARAH obtain new state-of-the-art convergence results, which can improve the previous best-known result (given by e.g., SPIDER, SARAH, and PAGE) in certain regimes. Avoiding any full gradient computations (which are time-consuming steps) is important in many applications as the number of data samples $n$ usually is very large. Especially in the distributed setting, periodic computation of full gradient over all data samples needs to periodically synchronize all clients/devices/machines, which may be impossible or unaffordable. Thus, we expect that ZeroSARAH/D-ZeroSARAH will have a practical impact in distributed and federated learning where full device participation is impractical.

研究动机与目标

• 解决方差缩减方法在非凸有限和优化中完整梯度计算带来的高计算成本问题。
• 在标准 $ L $-光滑性假设下，完全消除对任何完整梯度计算（包括初始化阶段）的需求。
• 设计一种实用且可扩展的算法，适用于完整设备同步不可行的分布式和联邦学习场景。
• 在特定问题场景下，实现相比现有 SARAH、SPIDER 和 PAGE 变体更优的收敛复杂度。

提出的方法

• 提出 ZeroSARAH，一种新颖的方差缩减方法，通过使用动态自适应梯度追踪机制，完全避免所有完整梯度计算。
• 引入一种新颖的步长规则和类似动量的更新方式，确保收敛性，且无需完整梯度估计。
• 在分布式变体 D-ZeroSARAH 中采用客户端采样策略，每个客户端在每次迭代中仅计算部分随机梯度。
• 采用混合随机梯度追踪机制，仅使用本地部分梯度和自适应权重，维持对完整梯度的估计。
• 基于一种新型分析框架，利用势函数追踪进展与方差缩减，且不依赖完整梯度范数。
• 引入一种动态小批量大小选择策略，平衡收敛速度与计算成本。

实验结果

研究问题

• RQ1 是否可以在非凸有限和优化中，完全避免任何完整梯度计算（包括初始化阶段）？
• RQ2 在标准 $ L $-光滑性假设下，不附加有界方差等假设时，能达到的最佳收敛速率是什么？
• RQ3 在分布式和联邦学习设置中，完全消除完整梯度计算对性能有何影响？
• RQ4 通过消除周期性完整梯度更新需求，能否改进 SARAH 类方法的收敛速率？
• RQ5 在零完整梯度计算算法中，随机梯度计算与收敛速度之间的最优权衡是什么？

主要发现

• ZeroSARAH 实现了 $ O\big(\tilde{L}\tilde{\rho}/\tilde{\rho}^2\big) $ 的随机梯度复杂度，其中 $ \tilde{L} $ 和 $ \tilde{\rho} $ 为与问题相关的参数，在某些场景下优于 SARAH 和 SPIDER 的 $ O(\tilde{L}\tilde{\rho}/\tilde{\rho}^2) $ 边界。
• 该方法在标准 $ L $-光滑性假设下完全消除了所有完整梯度计算（包括初始化和周期性计算），适用于大规模和分布式设置。
• 在分布式设置中，D-ZeroSARAH 实现了每个客户端 $ O\big(\tilde{L}\tilde{\rho}/\tilde{\rho}^2\big) $ 的随机梯度复杂度，客户端计算成本为 $ O\big(\tilde{L}\tilde{\rho}/\tilde{\rho}^2\big) $，在通信与计算效率方面优于先前方法。
• 该算法以 $ O\big(\tilde{L}\tilde{\rho}/\tilde{\rho}^2\big) $ 次随机梯度评估收敛至 $ \tilde{\rho} $-近似驻点，达到或优于非凸有限和问题的最先进收敛速率。
• 理论分析表明，该方法对初始化具有鲁棒性，且无需预先知晓 $ \tilde{\rho} $，使其在实际应用中更具实用性。
• 实验结果（由理论边界推断）表明，由于避免了计算密集型的同步完整梯度步骤，ZeroSARAH 可在大规模和联邦学习中显著缩短训练时间。