[论文解读] Convex Synthesis of Accelerated Gradient Algorithms for Optimization and Saddle Point Problems using Lyapunov functions

Dennis Gramlich, Christian Ebenbauer+1 more|arXiv (Cornell University)|Jun 17, 2020

Sparse and Compressive Sensing Techniques参考文献 14被引用 4

一句话总结

本文提出了一种基于李雅普诺夫函数和半定规划的凸合成框架，用于加速梯度算法，可实现对凸优化和鞍点问题的最优算法设计。该方法将适用范围从强凸函数推广至非凸情形，性能达到或超过现有最先进方法（如三重动量法），且设计条件非保守、具有凸性。

ABSTRACT

This paper considers the problem of designing accelerated gradient-based algorithms for optimization and saddle-point problems. The class of objective functions is defined by a generalized sector condition. This class of functions contains strongly convex functions with Lipschitz gradients but also non-convex functions, which allows not only to address optimization problems but also saddle-point problems. The proposed design procedure relies on a suitable class of Lyapunov functions and on convex semi-definite programming. The proposed synthesis allows the design of algorithms that reach the performance of state-of-the-art accelerated gradient methods and beyond.

研究动机与目标

• 开发一种非保守的凸合成程序，用于加速梯度算法，适用于凸和非凸目标函数。
• 将算法设计从标准的强凸函数推广至允许进行鞍点搜索的非凸函数，适用于约束优化问题。
• 确保合成条件与相应的分析条件尽可能紧密，避免先前方法中常见的保守性。
• 将目标函数的结构特性融入算法设计中，以实现更快的收敛速率。
• 通过广义扇区条件，在统一框架下实现对优化和鞍点问题算法的设计统一。

提出的方法

• 该方法采用广义扇区条件，定义了一类广泛的目标函数，包括强凸函数和某些非凸函数。
• 使用一类通用的李雅普诺夫函数，推导算法动态的稳定性和收敛性条件。
• 通过将李雅普诺夫条件表示为线性矩阵不等式（LMI），将设计问题表述为凸半定规划（SDP）。
• 合成条件的推导确保分析LMI的可行性可推出合成LMI的可行性，从而保证非保守性。
• 该框架可通过SDP公式化，将目标函数的结构特性融入算法参数中。
• 该方法利用合同变换和谱性质，确保在广义扇区条件下具备鲁棒性和收敛性保证。

实验结果

研究问题

• RQ1 能否为加速梯度方法开发一种非保守的凸合成框架，使其适用于凸和非凸函数？
• RQ2 如何利用李雅普诺夫函数设计收敛于鞍点而非极小值的算法？
• RQ3 设计过程在多大程度上可融入目标函数的结构特性以提升收敛速率？
• RQ4 能否使合成条件与相应的分析条件一样紧密，避免保守性？
• RQ5 与现有加速方法（如三重动量法）相比，所提方法在性能上表现如何？

主要发现

• 所提出的合成框架在具有Lipschitz连续梯度的强凸函数上，实现了与三重动量法相同的收敛速率。
• 该方法可通过在广义扇区条件中引入非凸函数，实现设计收敛于鞍点的算法。
• 合成条件是非保守的：分析LMI的可行性与合成LMI的可行性等价，确保设计过程中无性能损失。
• 该框架可将目标函数的结构特性融入算法设计，从而实现比通用方法更快的收敛速率。
• 该方法被表述为凸半定规划，计算上可行，适用于自动化算法生成。
• 该方法通过允许更广泛的目标函数类和更紧致的设计条件，推广了现有的IQC和基于鲁棒控制的方法。