[论文解读] Acceleration Methods

Alexandre d’Aspremont, Damien Scieur+1 more|arXiv (Cornell University)|Jan 23, 2021

Stochastic Gradient Optimization Techniques参考文献 154被引用 4

一句话总结

本专著通过性能估计问题和线性矩阵不等式（LMIs）提供了一个统一的框架，用于理解和设计加速的一阶优化方法。它系统地推导了基于动量的方法（如Nesterov方法）和邻近算法的收敛性保证，通过主模板揭示了加速本质上是一个最优设计问题，而非启发式技巧。

ABSTRACT

This monograph covers some recent advances in a range of acceleration techniques frequently used in convex optimization. We first use quadratic optimization problems to introduce two key families of methods, namely momentum and nested optimization schemes. They coincide in the quadratic case to form the Chebyshev method. We discuss momentum methods in detail, starting with the seminal work of Nesterov and structure convergence proofs using a few master templates, such as that for optimized gradient methods, which provide the key benefit of showing how momentum methods optimize convergence guarantees. We further cover proximal acceleration, at the heart of the Catalyst and Accelerated Hybrid Proximal Extragradient frameworks, using similar algorithmic patterns. Common acceleration techniques rely directly on the knowledge of some of the regularity parameters in the problem at hand. We conclude by discussing restart schemes, a set of simple techniques for reaching nearly optimal convergence rates while adapting to unobserved regularity parameters.

研究动机与目标

• 通过性能估计和LMIs，统一并系统化分析凸优化中加速技术的理论基础。
• 通过展示动量加速是 worst-case 性能设计问题的最优解，揭示其本质，消除其神秘性。
• 将该框架扩展至邻近加速和重启方案，实现在未知正则性参数条件下的自适应收敛。
• 提供一种基于凸优化工具的系统化、算法化的加速方法设计蓝图。
• 通过LMIs提供可验证的收敛性证明，实现对潜在函数和收敛速率的自动化验证。

提出的方法

• 利用性能估计问题（PEPs）将收敛性分析形式化为凸优化问题，从而系统推导出最优参数。
• 采用线性矩阵不等式（LMIs）验证能保证收敛的潜在函数，将问题转化为半定规划。
• 应用主模板（如优化梯度法框架）统一动量和邻近方案的收敛性证明。
• 提出一种框架，将加速视为最小化 worst-case 收敛界问题的解，而非启发式技巧。
• 使用嵌套循环（外层和内层迭代）加速收敛，其中内层循环通过标准方法求解子问题，外层循环应用加速策略。
• 对二次问题使用切比雪夫多项式系数进行外推，通过正则化推广至非二次情形。

实验结果

研究问题

• RQ1 如何系统化地推导一阶方法中的加速，而非通过经验发现？
• RQ2 动量在优化 worst-case 收敛率中的作用是什么？如何通过性能估计形式化？
• RQ3 邻近加速能否与Nesterov风格动量方法统一于同一框架下？
• RQ4 重启方案如何在未知正则性参数（如强凸性或Lipschitz常数）条件下实现近乎最优的收敛？
• RQ5 线性矩阵不等式能否用于自动验证复杂加速方案的收敛性保证？

主要发现

• 一阶方法中的加速（如Nesterov方法）并非神秘，而是最小化 worst-case 收敛界问题的最优解。
• 切比雪夫方法在二次问题中统一了动量和嵌套优化方案，为加速收敛提供了基础范例。
• 通过Catalyst和A-HPE等框架实现的邻近加速，通过结合内层子问题与外层加速，达到最优收敛速率。
• 重启方案即使在正则性参数（如强凸性或Lipschitz常数）未知时，也能实现近乎最优的收敛速率。
• 使用LMIs可自动验证潜在函数，将收敛性证明转化为可符号求解的半定规划问题。
• 性能估计框架通过在关键点采样函数值和梯度，实现紧致的收敛性保证，从而导出可证明最优的算法。