[论文解读] Geometry of First-Order Methods and Adaptive Acceleration

Clarice Poon, Jingwei Liang|arXiv (Cornell University)|Mar 9, 2020

Numerical methods in inverse problems参考文献 73被引用 9

一句话总结

本文提出了一种用于分析非光滑优化中一阶方法的几何框架，揭示了迭代序列通过部分光滑性局部收敛于直线或螺旋线等规则轨迹。该文提出一种自适应加速算法，可追踪这些轨迹，通过与向量外推技术的关联，实现全局收敛并提升局部收敛速率。

ABSTRACT

First-order operator splitting methods are ubiquitous among many fields through science and engineering, such as inverse problems, signal/image processing, statistics, data science and machine learning, to name a few. In this paper, we study a geometric property of first-order methods when applying to solve non-smooth optimization problems. With the tool of "partial smoothness", we design a framework to analyze the trajectory of the fixed-point sequence generated by first-order methods and show that locally, the fixed-point sequence settles onto a regular trajectory such as a straight line or a spiral. Based on this finding, we discuss the limitation of current widely used "inertial acceleration" technique, and propose a trajectory following adaptive acceleration algorithm. Global convergence is established for the proposed acceleration scheme based on the perturbation of fixed-point iteration. Locally, we first build connections between the acceleration scheme and the well-studied "vector extrapolation technique" in the field of numerical analysis, and then discuss local acceleration guarantees of the proposed acceleration scheme. Moreover, our result provides a geometric interpretation of these vector extrapolation techniques. Numerical experiments on various first-order methods are provided to demonstrate the advantage of the proposed adaptive acceleration scheme.

研究动机与目标

• 理解一阶方法在求解非光滑优化问题时，不动点迭代序列的几何行为。
• 识别现有惯性加速技术在捕捉真实收敛轨迹方面的局限性。
• 设计一种自适应加速方案，动态跟踪迭代序列的局部轨迹，以提升收敛速度。
• 通过不动点迭代扰动理论，为所提出的加速方法建立全局收敛保证。
• 通过轨迹对齐的视角，为数值分析中的经典向量外推技术提供几何解释。

提出的方法

• 利用部分光滑性概念，刻画一阶方法生成的不动点序列的局部几何结构。
• 分析迭代序列的轨迹，表明其在希尔伯特空间中局部收敛于直线或螺旋线等规则曲线。
• 提出一种基于轨迹跟踪的自适应加速算法，根据观测到的局部几何结构动态调整外推步骤。
• 将加速视为原始不动点迭代的扰动，从而建立全局收敛性。
• 通过收敛动力学的结构，将所提方案与向量外推技术（如最小多项式外推）相联系。
• 采用切比雪夫多项式逼近，在谱假设下界定向加速方案的收敛速率。

实验结果

研究问题

• RQ1 在一阶方法求解非光滑优化问题时，迭代序列在解附近如何呈现几何行为？
• RQ2 为何标准惯性加速技术无法充分捕捉收敛的内在几何结构？
• RQ3 我们能否设计一种自适应加速方案，以跟踪迭代序列的局部轨迹，从而提升收敛速度？
• RQ4 此类轨迹跟踪加速方法的理论收敛保证是什么？
• RQ5 所提方法与数值分析中经典向量外推技术之间有何关系，是否可实现推广？

主要发现

• 由于问题活动流形的部分光滑性，一阶方法的不动点迭代序列局部收敛于直线或螺旋线等规则轨迹。
• 所提出的自适应加速方案通过将加速视为原始不动点迭代的扰动，实现了全局收敛。
• 该方法通过将外推方向与观测轨迹对齐，实现局部收敛速率的提升，优于标准惯性方案。
• 在谱假设下，通过切比雪夫多项式最小化，加速方案的收敛速率被界定为 $ \mathcal{O}\left(\left(\frac{\sqrt{\eta}-1}{\sqrt{\eta}+1}\right)^q\right) $，其中 $ \eta = \frac{1-\alpha}{1-\beta} $。
• 该框架为向量外推技术提供了几何解释，表明其隐式逼近了收敛动力学的主导子空间。
• 数值实验验证了自适应方案在多种一阶算法（包括FISTA和ADMM）中相对于标准惯性方法的优势。