[论文解读] First order optimization methods based on Hessian-driven Nesterov accelerated gradient flow

Long Chen, Hao Luo|arXiv (Cornell University)|Dec 19, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用 10

一句话总结

本文提出Hessian驱动的Nesterov加速梯度（H-NAG）流，一种新颖的二阶常微分方程（ODE）模型，通过引入Hessian信息来稳定并加速一阶优化。通过显式与隐式格式对这一流进行离散化，作者推导出新的的一阶方法，实现最优收敛速率——凸问题下为O(1/k²)，强凸问题下为O((1+√(μ/L))⁻ᵏ)，同时确保梯度范数快速衰减。

ABSTRACT

A novel dynamical inertial Newton system, which is called Hessian-driven Nesterov accelerated gradient (H-NAG) flow is proposed. Convergence of the continuous trajectory are established via tailored Lyapunov function, and new first-order accelerated optimization methods are proposed from ODE solvers. It is shown that (semi-)implicit schemes can always achieve linear rate and explicit schemes have the optimal(accelerated) rates for convex and strongly convex objectives. In particular, Nesterov's optimal method is recovered from an explicit scheme for our H-NAG flow. Furthermore, accelerated splitting algorithms for composite optimization problems are also developed.

研究动机与目标

• 开发一个统一的动力系统，系统性地生成凸问题与强凸问题的一阶加速优化方法。
• 通过连续惯性牛顿系统引入Hessian驱动阻尼，解决Nesterov型方法中的不稳定与振荡问题。
• 通过量身定制的李雅普诺夫函数，为连续与离散动力系统建立收敛保证。
• 通过梯度映射与近端技术，将该框架扩展至复合凸优化问题。
• 证明显式离散化可统一地恢复已知最优方法（如Nesterov方法、FISTA），并置于ODE框架下。

提出的方法

• 提出H-NAG流作为具有动态阻尼γ′ = μ − γ及Hessian驱动项γβ∇²f(x)x′的二阶ODE，以稳定轨迹并减少振荡。
• 将H-NAG流重述为一阶系统，避免显式计算Hessian，从而可在C¹函数及通过次梯度推广至非光滑情形下应用。
• 引入李雅普诺夫函数L(t) = f(x(t)) − f(x*) + (γ(t)/2)‖v(t) − x*‖²，以证明连续轨迹的指数衰减与收敛性。
• 设计半隐式与显式时间离散格式（如算法1），保持李雅普诺夫结构并确保最优收敛速率。
• 应用梯度映射技术将方法扩展至复合问题f = h + g，其中h为光滑函数，g为凸且下半连续函数。
• 推导离散李雅普诺夫不等式，以界定向差间隙与梯度范数，支持收敛速率分析。

实验结果

研究问题

• RQ1 能否设计一种包含Hessian信息的连续动力系统，以统一并系统性地生成一阶加速优化方法？
• RQ2 与标准Nesterov型流相比，Hessian驱动阻尼如何提升稳定性与收敛性？
• RQ3 H-NAG流的显式时间离散化能否在凸问题下实现最优O(1/k²)收敛速率，强凸问题下实现O((1+√(μ/L))⁻ᵏ)收敛速率？
• RQ4 该框架能否扩展至包含非光滑分量的复合凸优化问题？
• RQ5 离散格式是否保持了连续流中观察到的强李雅普诺夫性质，从而支持严格的收敛性分析？

主要发现

• H-NAG流确保李雅普诺夫函数指数衰减，且梯度范数平方的积分受阻尼参数β控制。
• 半隐式格式在时间步长αₖ有下界时实现线性收敛，归因于离散李雅普诺夫不等式。
• 显式格式（如算法1）在凸与强凸情形下均实现最优收敛速率O(min{1/k², (1+√(μ/L))⁻ᵏ})。
• 梯度范数迅速衰减，其有界性满足∑(λₖ/λᵢ)‖∇f(xᵢ)‖² ≤ O(λₖℒ₀)，其中λₖ依O(1/k²)或几何速率衰减，具体取决于参数。
• 当βₖ = 1/(Lαₖ)且αₖ = √(γₖ/L)时，显式格式精确恢复Nesterov最优方法，确认与已知结果的一致性。
• 对于复合问题，该方法在凸情形下恢复FISTA，在强凸情形下通过梯度映射得到一种新型加速近端方法。