[论文解读] Fast convex optimization via inertial dynamics with Hessian driven damping

Hédy Attouch, Juan Peypouquet+1 more|arXiv (Cornell University)|Jan 26, 2016

Sparse and Compressive Sensing Techniques参考文献 25被引用 117

一句话总结

本文分析将消失阻尼与 Hessian 驱动阻尼相结合的 DIN-AVD 惯性系统，以在凸优化中实现快速收敛，包括非平滑扩展和离散化的影响。

ABSTRACT

We first study the fast minimization properties of the trajectories of the second-order evolution equation $$\\ddot{x}(t) + \\frac{\\alpha}{t} \\dot{x}(t) + \\beta \ abla^2 \\Phi (x(t))\\dot{x} (t) + \ abla \\Phi (x(t)) = 0,$$ where $\\Phi:\\mathcal H\ o\\mathbb R$ is a smooth convex function acting on a real Hilbert space $\\mathcal H$, and $\\alpha$, $\\beta$ are positive parameters. This inertial system combines an isotropic viscous damping which vanishes asymptotically, and a geometrical Hessian driven damping, which makes it naturally related to Newton's and Levenberg-Marquardt methods. For $\\alpha\\geq 3$, $\\beta >0$, along any trajectory, fast convergence of the values $$\\Phi(x(t))- \\min_{\\mathcal H}\\Phi =\\mathcal O\\left(t^{-2}\ ight)$$ is obtained, together with rapid convergence of the gradients $\ abla\\Phi(x(t))$ to zero. For $\\alpha>3$, just assuming that $\\Phi$ has minimizers, we show that any trajectory converges weakly to a minimizer of $\\Phi$, and $ \\Phi(x(t))-\\min_{\\mathcal H}\\Phi = o(t^{-2})$. Strong convergence is established in various practical situations. For the strongly convex case, convergence can be arbitrarily fast depending on the choice of $\\alpha$. More precisely, we have $\\Phi(x(t))- \\min_{\\mathcal H}\\Phi = \\mathcal O(t^{-\\frac{2}{3}\\alpha})$. We extend the results to the case of a general proper lower-semicontinuous convex function $\\Phi : \\mathcal H \ ightarrow \\mathbb R \\cup \\{+\\infty \\}$. This is based on the fact that the inertial dynamic with Hessian driven damping can be written as a first-order system in time and space. By explicit-implicit time discretization, this opens a gate to new $-$ possibly more rapid $-$ inertial algorithms, expanding the field of FISTA methods for convex structured optimization problems.

研究动机与目标

• 通过惯性二阶动力学推动对凸势能的快速最小化。
• 引入将消失阻尼与 Hessian 驱动阻尼耦合的 DIN-AVD 系统。
• 建立函数值和梯度范数的收敛速率，并在不同的 α 与 β 下研究轨迹收敛性。
• 通过一阶重构与时间离散化含义将该框架扩展到非平滑凸函数。

提出的方法

• 研究二阶演化方程：x''(t) + (α/t) x'(t) + β ∇^2Φ(x(t)) x'(t) + ∇Φ(x(t)) = 0。
• 证明在时间与空间上的一阶系统等价性，允许非平滑 Φ 的子梯度（次梯度）。
• 开发包含能量项和梯度项的 Lyapunov 泛函 W_θ(t) 以推导衰减估计。
• 导出快速收敛：Φ(x(t)) − minΦ = O(t^-2) 当 α ≥ 3 且 β > 0。
• 利用 Opial 引理证明 α > 3 时到极小点的弱收敛。
• 在强凸情形下，获得更快的收敛：Φ(x(t)) − minΦ = O(t^(-2α/3))。

实验结果

研究问题

• RQ1 DIN-AVD 动力学中 vanishing damping 与 Hessian-driven damping 的组合是否能实现 Φ(x(t)) 收敛到极小值的快速收敛？
• RQ2 在 α ≥ 3 和 α > 3 下，函数值与梯度的收敛速率分别是多少？
• RQ3 该框架能否通过一阶重构扩展到非平滑凸目标函数？
• RQ4 在何种条件下轨迹会弱收敛或强收敛到极小点？
• RQ5 受 DIN-AVD 启发的离散化如何与改进的 FISTA 型方法相关并扩展？

主要发现

• 当 α ≥ 3 且 β > 0 时，Φ(x(t)) 收敛到 minΦ 的速率为 O(t^-2)。
• 当 α > 3 时，每条轨迹以弱收敛收敛到一个极小值点，且 Φ(x(t)) − minΦ = o(t^-2)。
• 在强凸情形下，收敛速率可以任意快，且满足 Φ(x(t)) − minΦ = O(t^(-2α/3))。
• 惯性 Hessian 驱动阻尼框架可以重构为一阶系统，便于扩展到非平滑凸 Φ。
• DIN-AVD 的时间离散化提示了扩展 FISTA 家族的新型快速惯性算法。