[论文解读] Fast Convergence of an Inertial Gradient-like System with Vanishing Viscosity

Juan Peypouquet-Urbaneja|arXiv (Cornell University)|Jul 16, 2015

Advanced Mathematical Modeling in Engineering参考文献 25被引用 16

一句话总结

本文分析了一个带有消失粘性项的二阶惯性动力系统，证明当 α > 3 时，轨迹在实希尔伯特空间中弱收敛至一个凸且连续可微函数 Φ 的极小值点。研究建立了目标函数值的 O(t⁻²) 收敛速率，拓展了内斯特罗夫型快速算法，并为通过时间离散化实现的快速优化算法提供了连续时间基础。

ABSTRACT

In a real Hilbert space $\mathcal H$, we study the fast convergence properties as $t o + \infty$ of the trajectories of the second-order evolution equation $$ \ddot{x}(t) + \frac{\alpha}{t} \dot{x}(t) + abla \Phi (x(t)) = 0, $$ where $ abla \Phi$ is the gradient of a convex continuously differentiable function $\Phi : \mathcal H ightarrow \mathbb R$, and $\alpha$ is a positive parameter. In this inertial system, the viscous damping coefficient $\frac{\alpha}{t}$ vanishes asymptotically in a moderate way. For $\alpha > 3$, we show that any trajectory converges weakly to a minimizer of $\Phi$, just assuming that the set of minimizers is nonempty. The strong convergence is established in various practical situations. These results complement the $\mathcal O(t^{-2})$ rate of convergence for the values obtained by Su, Boyd and Candes. Time discretization of this system, and some of its variants, provides new fast converging algorithms, expanding the field of rapid methods for structured convex minimization introduced by Nesterov, and further developed by Beck and Teboulle. This study also complements recent advances due to Chambolle and Dossal.

研究动机与目标

• 分析带有时间可变阻尼的二阶惯性系统所生成轨迹的渐近收敛行为。
• 在希尔伯特空间中建立轨迹对凸函数 Φ 的极小值点的弱收敛与强收敛性。
• 为客观函数值 Φ(x(t)) − min Φ 推导出 O(t⁻²) 的收敛速率，与内斯特罗夫的快速梯度方法保持一致。
• 通过时间离散化，将连续时间系统与离散快速优化算法联系起来。
• 通过引入消失粘性和推广收敛条件，拓展了近期关于惯性系统的相关结果。

提出的方法

• 分析实希尔伯特空间 H 中的二阶演化方程：ÿ(t) + (α/t) ẋ(t) + ∇Φ(x(t)) = 0。
• 采用李雅普诺夫分析与能量方法，研究与系统相关联的能量泛函的衰减特性。
• 应用参数条件 α > 3，以确保轨迹弱收敛至 Φ 的极小值点。
• 在 Φ 具有一致凸性或子水平集有界等附加结构假设下，建立强收敛性。
• 通过分析能量函数的衰减，推导出 Φ(x(t)) − min Φ 的 O(t⁻²) 收敛速率。
• 对连续系统进行时间离散化，生成具有快速收敛性的新型一阶算法。

实验结果

研究问题

• RQ1 在何种条件下，带有消失粘性的惯性系统轨迹弱收敛至 Φ 的极小值点？
• RQ2 当 t → ∞ 时，目标函数值 Φ(x(t)) 的收敛速率如何？
• RQ3 参数 α 的选择如何影响系统的收敛特性？
• RQ4 该连续时间系统是否可通过离散化生成新的快速收敛优化算法？
• RQ5 在何种条件下，系统可保证轨迹的强收敛性而非仅弱收敛？

主要发现

• 当 α > 3 时，只要极小值点集合非空，系统的任意轨迹均弱收敛至 Φ 的极小值点。
• 目标函数值 Φ(x(t)) 以 O(t⁻²) 的速率收敛至最优值，与内斯特罗夫快速梯度方法的最优已知速率一致。
• 在 Φ 具有一致凸性或子水平集有界等附加假设下，可建立轨迹的强收敛性。
• 对系统进行时间离散化可生成新型一阶算法，具有快速收敛特性，扩展了凸最小化问题的快速方法类别。
• 研究结果补充并推广了尚贝尔勒与多萨尔关于消失阻尼惯性系统的近期成果。
• 该系统为快速优化方法提供了连续时间解释，统一并拓展了现有理论框架。