[论文解读] Catalyst Acceleration for First-order Convex Optimization: from Theory to Practice

Hongzhou Lin, Julien Mairal+1 more|arXiv (Cornell University)|Dec 15, 2017

Stochastic Gradient Optimization Techniques被引用 90

一句话总结

Catalyst 是一种通用加速方案，它将任何具有线性收敛性的方法包装为一系列精心选择的非精确近端子问题，以实现对凸优化的更快整体收敛，包括非强凸情况。

ABSTRACT

We introduce a generic scheme for accelerating gradient-based optimization methods in the sense of Nesterov. The approach, called Catalyst, builds upon the inexact accelerated proximal point algorithm for minimizing a convex objective function, and consists of approximately solving a sequence of well-chosen auxiliary problems, leading to faster convergence. One of the keys to achieve acceleration in theory and in practice is to solve these sub-problems with appropriate accuracy by using the right stopping criterion and the right warm-start strategy. We give practical guidelines to use Catalyst and present a comprehensive analysis of its global complexity. We show that Catalyst applies to a large class of algorithms, including gradient descent, block coordinate descent, incremental algorithms such as SAG, SAGA, SDCA, SVRG, MISO/Finito, and their proximal variants. For all of these methods, we establish faster rates using the Catalyst acceleration, for strongly convex and non-strongly convex objectives. We conclude with extensive experiments showing that acceleration is useful in practice, especially for ill-conditioned problems.

研究动机与目标

• 推动基于梯度的方法在凸优化中的加速，尤其是处理包含大量有限和的问题。
• 提供一个统一的 Catalyst 框架，适用于多种一阶方法。
• 展示平滑、外推以及内外平衡如何带来更快的收敛。
• 在无需手动正则化的情况下，将加速扩展到非强凸目标。
• 提供实际指南和面向实际使用的复杂度分析。

提出的方法

• 将 Catalyst 介绍为一个外部-外部循环方案，使用基方法 M 求解近似强凸辅助问题。
• 使用半极卷积（Moreau 包络）来创建一个条件良好的代理目标 h_k。
• 应用 Nesterov 风格的外推，形成用于加速的外迭代 y_k。
• 提供内部问题的显式停止标准（绝对/相对精度或固定预算）以及热启动策略。
• 通过选择平滑参数 kappa 来优化复杂度，从而平衡内部与外部计算。
• 证明 Catalyst 能加速在强凸问题上具有线性收敛的一大类一阶方法。

实验结果

研究问题

• RQ1 Catalyst 是否能够加速超越梯度下降和 SDCA 的广泛一阶方法，以在凸目标上实现更快的收敛？
• RQ2 如何选择内部循环的精度、热启动和平滑参数以保证全局加速？
• RQ3 将 Catalyst 应用于强凸和非强凸目标时的理论复杂度收益是什么？
• RQ4 在使用非精确子问题求解时，Moreau 包络平滑与实际加速之间的关系如何？
• RQ5 Catalyst 是否能为非强凸目标的增量方法提供直接支持，而无需手动正则化？

主要发现

• Catalyst 在加速强凸子问题时为许多方法带来更快的收敛速度，从而提升大型求和问题的复杂度界。
• 该框架可应用于梯度下降、块坐标下降，以及增量方法如 SAG、SAGA、SDCA、SVRG、MISO/Finito，以及近端变体。
• 即使在非强凸目标下也可实现加速，消除了为实现加速而添加正则化的需要。
• 内部问题的适当停止准则和有效的热启动对于实际加速和复杂度控制至关重要。
• 理论结果在强凸和非强凸情形下，达到接近最优的速率，至多存在对数因子。
• 实证结果显示实际加速，特别是在病态/条件差的问题上。