[论文解读] High-Resolution Modeling of the Fastest First-Order Optimization Method for Strongly Convex Functions

Boya Sun, Jemin George+1 more|arXiv (Cornell University)|Aug 25, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用 5

一句话总结

本文提出了一种用于三重动量（TM）方法的高分辨率二阶常微分方程（ODE）模型，该方法是一种一阶优化算法，其在强凸函数上的收敛速度优于奈斯特罗夫加速梯度（NAG）。通过李雅普诺夫分析和积分二次约束（IQC）方法，研究证实了指数收敛性，并表明TM ODE模型的收敛速度优于NAG，该结论通过数值模拟得到验证，且收敛率界限更紧。

ABSTRACT

Motivated by the fact that the gradient-based optimization algorithms can be studied from the perspective of limiting ordinary differential equations (ODEs), here we derive an ODE representation of the accelerated triple momentum (TM) algorithm. For unconstrained optimization problems with strongly convex cost, the TM algorithm has a proven faster convergence rate than the Nesterov's accelerated gradient (NAG) method but with the same computational complexity. We show that similar to the NAG method to capture accurately the characteristics of the TM method, we need to use a high-resolution modeling to obtain the ODE representation of the TM algorithm. We use a Lyapunov analysis to investigate the stability and convergence behavior of the proposed high-resolution ODE representation of the TM algorithm. We show through this analysis that this ODE model has robustness to deviation from the parameters of the TM algorithm. We compare the rate of the ODE representation of the TM method with that of the NAG method to confirm its faster convergence. Our study also leads to a tighter bound on the worst rate of convergence for the ODE model of the NAG method. Lastly, we discuss the use of the integral quadratic constraint (IQC) method to establish an estimate on the rate of convergence of the TM algorithm. A numerical example demonstrates our results.

研究动机与目标

• 为强凸函数下的三重动量（TM）方法开发一个精确的连续时间ODE表示。
• 利用控制理论工具（如李雅普诺夫函数和积分二次约束IQC）分析TM方法的稳定性和收敛性。
• 证明高分辨率ODE建模对于捕捉加速一阶方法（如TM）的真实动态行为是必要的，而一阶ODE无法区分TM与NAG。
• 比较TM与NAG ODE模型的收敛速率，确认TM的优越性能。
• 通过高分辨率分析，为NAG ODE模型提供更紧的最坏情况收敛速率界。

提出的方法

• 通过取离散TM方法在步长趋于零时的极限，推导出TM算法的二阶高分辨率ODE表示，以捕捉更高阶的动力学特性。
• 对ODE模型应用李雅普诺夫分析，以证明指数收敛性和对参数偏差的鲁棒性。
• 利用积分二次约束（IQC）框架估计TM ODE模型的收敛速率，提供稳定性的一个充分条件。
• 引入一个涉及Hessian矩阵和Lipschitz常数、由$ M $和$ L $参数化的逐点IQC条件，以建模梯度映射。
• 采用矩阵不等式条件（32），通过半定规划计算最大指数收敛速率$ p^{ ext{star}}_{\text{IQC}} $。
• 通过数值模拟验证理论结果，比较不同步长和条件数下TM、NAG、梯度下降及其ODE对应模型的表现。

实验结果

研究问题

• RQ1 高分辨率二阶ODE能否准确建模三重动量（TM）方法，以捕捉其相较于奈斯特罗夫加速梯度（NAG）的优越收敛行为？
• RQ2 对TM的高分辨率ODE应用李雅普诺夫分析，如何证实其指数收敛性及对参数偏差的鲁棒性？
• RQ3 使用高分辨率ODE建模，NAG方法的最坏情况收敛速率的最紧可达界是什么？
• RQ4 积分二次约束（IQC）方法能否为TM ODE模型提供可靠的收敛速率估计？
• RQ5 在不同步长下，TM与NAG的ODE表示在收敛速度和振荡行为方面有何比较？

主要发现

• TM方法的高分辨率ODE模型准确捕捉了离散时间行为，包括相较于NAG的更快收敛速度和更少的振荡。
• 李雅普诺夫分析证实了TM ODE模型的指数收敛性，并展示了其对参数偏差的鲁棒性。
• TM方法的ODE模型收敛速度优于NAG ODE模型，证实了TM算法的优越性能。
• 通过高分辨率分析，为NAG ODE模型导出了更紧的最坏情况收敛速率界，优于先前估计。
• 基于IQC的方法得到的收敛速率估计$ p^{ ext{star}}_{\text{IQC}} $随条件数$ \kappa $增大而减小，与梯度下降行为一致。
• 数值模拟表明，TM ODE能紧密跟踪离散TM方法，且更小的步长可减少振荡但减缓收敛，与理论预测一致。