[论文解读] A Universal Catalyst for First-Order Optimization

Hongzhou Lin, Julien Mairal+1 more|arXiv (Cornell University)|Jun 6, 2015

Stochastic Gradient Optimization Techniques参考文献 30被引用 185

一句话总结

本文提出了一种通用催化剂框架，通过将梯度下降、SAG、SAGA、MISO 和 SVRG 等一系列一阶优化方法嵌入具有自适应正则化的不精确邻近点算法中，显著加速了这些方法。该方法在无需事先知晓强凸性参数的情况下，实现了凸问题与非强凸问题的最优收敛速率，通过理论与实证加速显著提升了病态条件问题的性能。

ABSTRACT

We introduce a generic scheme for accelerating first-order optimization methods in the sense of Nesterov, which builds upon a new analysis of the accelerated proximal point algorithm. Our approach consists of minimizing a convex objective by approximately solving a sequence of well-chosen auxiliary problems, leading to faster convergence. This strategy applies to a large class of algorithms, including gradient descent, block coordinate descent, SAG, SAGA, SDCA, SVRG, Finito/MISO, and their proximal variants. For all of these methods, we provide acceleration and explicit support for non-strongly convex objectives. In addition to theoretical speed-up, we also show that acceleration is useful in practice, especially for ill-conditioned problems where we measure significant improvements.

研究动机与目标

• 开发一种适用于机器学习与信号处理中广泛一阶方法的通用加速框架。
• 解决在强凸设定之外加速增量方法（如 SAG、SAGA、MISO 和 SVRG）的开放性问题。
• 通过直接支持此类目标，消除非强凸问题中手动选择正则化参数的需求。
• 将 MISO 的邻近变体扩展至处理复合目标，并消除大样本条件 $ n \geq \beta L/\mu $。

提出的方法

• 该催化剂框架通过使用动态调整参数的类似邻近点的正则化，将任意一阶方法嵌入一系列辅助子问题序列中。
• 采用一种新颖的不精确性准则，平衡精度与计算成本，结合不精确加速邻近点算法。
• 该方法采用受 Nesterov 加速启发的动量更新策略，并适配于不精确子问题解的场景。
• 关键组件是自适应选择正则化参数 $ \kappa $，其依赖于问题的条件数与数据规模 $ n $，当 $ n $ 较大时可实现加速。
• 该算法维护原始迭代点，并通过重启机制确保收敛，内部迭代使用 SAG 或 MISO 等标准方法求解子问题。
• 该方法提供仅基于原始变量的收敛性分析，避免依赖对偶性，并引入一种实用的最优性证书，无需计算对偶目标。

实验结果

研究问题

• RQ1 能否设计一种通用加速框架，适用于包括增量与邻近变体在内的广泛一阶方法？
• RQ2 该催化剂方法是否能在无需事先知晓强凸性参数的情况下，实现凸与非强凸目标的最优收敛速率？
• RQ3 能否成功将加速应用于此前缺乏已知加速变体的增量方法（如 SAG、SAGA、MISO 和 SVRG）？
• RQ4 如何在保持收敛性与加速性的前提下，消除邻近 MISO 中的“大样本条件” $ n \geq \beta L/\mu $？
• RQ5 该催化剂对机器学习中常见的病态条件问题在理论与实证层面有何影响？

主要发现

• 对于 $ \mu $-强凸目标，该催化剂的迭代复杂度为 $ O\left(\min\left\{\frac{L}{\mu},\sqrt{\frac{nL}{\mu}}\right\} \log\left(\frac{1}{\varepsilon}\right)\log\left(\frac{L}{\mu}\right)\right) $，达到最优速率。
• 对于非强凸问题，该方法实现了显式加速，无需手动正则化，消除了在 $ \varepsilon \|x\|^2 $-正则化中预选 $ \varepsilon $ 的需求。
• 实证结果表明，该方法在病态条件问题上性能显著提升，尤其在 SAG、SAGA 和 MISO-Prox 上表现出更快的实际收敛速度。
• 加速后的 MISO-Prox 变体消除了大样本条件 $ n \geq \beta L/\mu $，从而具备更广泛的应用范围。
• 该方法对凸问题实现了最优的 $ O(1/k^2) $ 收敛速率，对强凸问题实现了 $ O((1 - \sqrt{\mu/L})^k) $ 的收敛速率，且不依赖于基础方法。
• 实现中采用基于理论的参数设置，包括 $ \kappa $、$ \alpha_0 $ 与 $ \varepsilon_k $，其中 $ \varepsilon_k $ 按 $ (1-\rho)^k $ 或 $ 1/(k+2)^{4+\eta} $ 衰减，确保收敛。