[论文解读] Lyapunov Functions for First-Order Methods: Tight Automated Convergence Guarantees

Adrien Taylor, Bryan Van Scoy+1 more|arXiv (Cornell University)|Mar 16, 2018

Advanced Optimization Algorithms Research参考文献 12被引用 12

一句话总结

本文提出一种基于半定规划（SDP）的方法，用于自动生成紧致的二次李雅普诺夫函数，以证明一阶优化方法的线性收敛速率。通过结合性能估计问题与积分二次约束，利用凸插值方法，该方法验证了由二次李雅普诺夫函数可证明的最快收敛速率，且SDP的可行性既是存在此类函数的必要条件也是充分条件。

ABSTRACT

We present a novel way of generating Lyapunov functions for proving linear convergence rates of first-order optimization methods. Our approach provably obtains the fastest linear convergence rate that can be verified by a quadratic Lyapunov function (with given states), and only relies on solving a small-sized semidefinite program. Our approach combines the advantages of performance estimation problems (PEP, due to Drori & Teboulle (2014)) and integral quadratic constraints (IQC, due to Lessard et al. (2016)), and relies on convex interpolation (due to Taylor et al. (2017c;b)).

研究动机与目标

• 开发一种自动化方法，用于生成可证明一阶优化方法线性收敛速率的二次李雅普诺夫函数。
• 统一两种现有的最坏情况分析框架：性能估计问题（PEP）与积分二次约束（IQC）。
• 确保所生成的李雅普诺夫函数可实现可由二次形式验证的最紧收敛速率。
• 提供一种基于求解小型半定规划（SDP）的计算高效方法。
• 建立一个对这类李雅普诺夫函数存在性而言既必要又充分的框架。

提出的方法

• 该方法将半定规划（SDP）公式化，其可行性决定了给定一阶方法是否存在二次李雅普诺夫函数。
• 利用光滑、强凸函数的凸插值，将问题结构嵌入李雅普诺夫函数设计中。
• 通过将两者统一于SDP框架，结合性能估计问题（PEP）与积分二次约束（IQC）的优势。
• 李雅普诺夫函数定义在包含原始迭代点、梯度和函数值的状态向量上，其能量在每次迭代中几何递减。
• SDP被构建为验证李雅普诺夫函数每步最多减少ρ²倍，其中ρ为收敛速率。
• 该方法通过小型SDP实现，支持高效计算并提供紧致的收敛保证。

实验结果

研究问题

• RQ1 是否可以设计一种系统化、自动化的算法，利用二次李雅普诺夫函数生成最紧的线性收敛速率证书？
• RQ2 如何将性能估计问题（PEP）与积分二次约束（IQC）统一于单一框架下，用于一阶方法的最坏情况分析？
• RQ3 可验证给定一阶方法存在二次李雅普诺夫函数的最小半定规划是什么？
• RQ4 所提出的SDP公式是否可同时保证必要性和充分性，以确保此类李雅普诺夫函数的存在？
• RQ5 该方法在实际方法（如带调度重启的快速梯度法）上的表现如何？

主要发现

• 所提出的SDP公式对二次李雅普诺夫函数的存在性而言既必要又充分，确保了收敛保证的紧致性。
• 该方法实现了可由给定状态向量的任意二次李雅普诺夫函数验证的最快线性收敛速率。
• 对于带调度重启的快速梯度法，该方法计算出最坏情况下的梯度评估次数为O(−1/log ρ)，与已知理论边界一致。
• 数值结果表明，采用精确线搜索的梯度法达到最坏情况收敛速率(κ−1)/(κ+1)，与先前研究一致。
• 该方法成功分析了三重动量法与鲁棒动量法，展示了其在标准方法之外的广泛应用性。
• 该方法通过将状态向量扩展以包含重启状态，实现了对时间变步长方法（如重启的FGM）的自动化收敛分析。