[论文解读] Underestimate Sequences via Quadratic Averaging.

Chenxin Ma, Naga V. C. Gudapati+3 more|arXiv (Cornell University)|Oct 10, 2017

Sparse and Compressive Sensing Techniques参考文献 5被引用 5

一句话总结

本文提出了低估序列（UES），这是一种新颖的框架，通过为强凸光滑复合函数引入下界序列，扩展了Nesterov的估计序列。通过高效更新这些下界，所提出的首阶方法实现了线性收敛，具备自然的停止条件和最优收敛速率，提供了最优性的证明。

ABSTRACT

In this work we introduce the concept of an Underestimate Sequence (UES), which is a natural extension of Nesterov's estimate sequence. Our definition of a UES utilizes three sequences, one of which is a lower bound (or under-estimator) of the objective function. The question of how to construct an appropriate sequence of lower bounds is also addressed, and we present lower bounds for strongly convex smooth functions and for strongly convex composite functions, which adhere to the UES framework. Further, we propose several first order methods for minimizing strongly convex functions in both the smooth and composite cases. The algorithms, based on efficiently updating lower bounds on the objective functions, have natural stopping conditions, which provides the user with a certificate of optimality. Convergence of all algorithms is guaranteed through the UES framework, and we show that all presented algorithms converge linearly, with the accelerated variants enjoying the optimal linear rate of convergence.

研究动机与目标

• 开发一种新的首阶优化框架，通过目标函数的下界提供最优性证明。
• 在统一框架内解决为强凸光滑复合函数构造有效下界的问题。
• 设计利用这些下界以确保线性收敛且具有最优速率的首阶算法。
• 基于对偶间隙提供自然停止条件，使用户能够在优化过程中验证近似最优性。
• 通过正式将下界序列作为核心组成部分，扩展Nesterov的原始估计序列概念。

提出的方法

• 提出低估序列（UES）作为三序列框架，其中一序列用作目标函数的下界。
• 为满足UES条件的强凸光滑函数和强凸复合函数构造显式下界。
• 设计首阶优化算法，通过迭代更新下界序列以从下方跟踪目标函数。
• 采用二次平均技术，确保下界被高效更新并保持收敛保证。
• 结合基于当前迭代点与下界之间对偶间隙的自然停止条件。
• 通过分析UES框架内下界序列的演化，推导收敛速率，证明加速变体在强凸问题中具有线性收敛与最优速率。

实验结果

研究问题

• RQ1 如何系统地为强凸光滑和复合函数构造下界序列，以支持具有最优性证明的优化？
• RQ2 二次平均在构建稳定且收敛的低估序列中起什么作用？
• RQ3 基于低估序列的首阶方法能否在强凸问题中实现最优线性收敛速率？
• RQ4 所提出的算法如何基于对偶间隙提供自然停止条件？
• RQ5 UES框架在何种方式上推广并改进了Nesterov的原始估计序列？

主要发现

• 所提出的低估序列（UES）框架成功通过正式引入目标函数的下界序列，扩展了Nesterov的估计序列。
• 对于强凸光滑函数，基于UES的算法实现了最优速率的线性收敛，与已知最佳理论边界一致。
• 该框架支持带有近端项的复合函数，使算法可应用于Lasso和融合Lasso等问题。
• 算法包含基于对偶间隙的自然停止条件，当间隙低于用户定义的容差时，可提供最优性证明。
• 采用二次平均确保了下界序列的稳定高效更新，这对收敛性和实际实现至关重要。
• 算法的加速变体实现了最优线性收敛速率，证实了在UES框架内的理论最优性。