[论文解读] Fast inertial dynamics and FISTA algorithms in convex optimization. Perturbation aspects

Hédy Attouch, Zaki Chbani|arXiv (Cornell University)|Jul 6, 2015

Optimization and Variational Analysis参考文献 26被引用 13

一句话总结

本文在渐近消失的阻尼和扰动条件下，建立了惯性梯度动力学与FISTA型算法在凸优化中的快速收敛速率。证明了当 $\alpha \geq 3$ 且扰动 $g(t)$ 可积时，二阶微分方程的轨迹满足 $\Phi(x(t)) - \min \Phi \leq C/t^2$，将Nesterov的快速收敛结果推广至扰动情形，并在误差模型下为离散算法提供了收敛保证。

ABSTRACT

In a Hilbert space setting $\mathcal H$, we study the fast convergence properties as $t o + \infty$ of the trajectories of the second-order differential equation $ \ddot{x}(t) + \fracα{t} \dot{x}(t) + abla Φ(x(t)) = g(t)$, where $ ablaΦ$ is the gradient of a convex continuously differentiable function $Φ: \mathcal H o \mathbb R$, $α$ is a positive parameter, and $g: [t_0, + \infty[ ightarrow \mathcal H$ is a "small" perturbation term. In this damped inertial system, the viscous damping coefficient $\fracα{t}$ vanishes asymptotically, but not too rapidly. For $α\geq 3$, and $\int_{t_0}^{+\infty} t \|g(t)\| dt < + \infty$, just assuming that the solution set is non empty, we show that any trajectory of the above system satisfies the fast convergence property $Φ(x(t))- \min_{\mathcal H}Φ\leq \frac{C}{t^2}$. For $α> 3$, we show that any trajectory converges weakly to a minimizer of $Φ$, and we show the strong convergence property in various practical situations. This complements the results obtained by Su-Boyd- Candès, and Attouch-Peypouquet-Redont, in the unperturbed case $g=0$. The parallel study of the time discretized version of this system provides new insight on the effect of errors, or perturbations on Nesterov's type algorithms. We obtain fast convergence of the values, and convergence of the trajectories for a perturbed version of the variant of FISTA recently considered by Chambolle-Dossal, and Su-Boyd-Candès.

研究动机与目标

• 分析希尔伯特空间中渐近趋于零的阻尼 $\alpha/t$ 和小扰动 $g(t)$ 下的二阶惯性动力学的渐近行为。
• 将Nesterov方法与FISTA的快速 $O(1/t^2)$ 收敛速率推广至存在扰动或算法误差的系统。
• 在扰动条件下，为 $\alpha > 3$ 建立轨迹弱收敛至极小化点的结果，并澄清 $\alpha = 3$ 的开放情形。
• 在误差模型下，建立连续时间惯性动力学与离散FISTA型算法（特别是Chambolle-Dossal变体）之间的联系。
• 为理解小扰动或数值误差下快速梯度方法的鲁棒性，提供理论框架。

提出的方法

• 在希尔伯特空间 $\mathcal{H}$ 中分析二阶微分方程 $\ddot{x}(t) + \frac{\alpha}{t}\dot{x}(t) + \nabla\Phi(x(t)) = g(t)$，其中 $\Phi$ 为凸函数且 $\nabla\Phi$ 满足利普希茨连续性。
• 使用李雅普诺夫函数 $h_k = \Phi(x_k) + \frac{1}{2}\|x_k - x^*\|^2$ 跟踪至最优解的距离与目标函数值。
• 推导出涉及 $h_{k+1} - h_k - \gamma_k(h_k - h_{k-1}) \leq \omega_k$ 的离散递推不等式，其中 $\gamma_k = \frac{k-1}{k+\alpha-1}$，以分析收敛性。
• 应用离散形式的积分比较引理（引理5.4），证明差值 $h_k - h_{k-1}$ 的正部可 summable，从而推出 $h_k$ 的收敛性。
• 依赖于假设 $\int_{t_0}^{\infty} t\|g(t)\|dt < \infty$ 和 $\sum_k k\|g_k\| < \infty$ 来控制扰动的影响。
• 通过能量估计与惯性阻尼的结构，界定 $\Phi(x(t)) - \min \Phi$ 的衰减速率，从而建立 $O(1/t^2)$ 的收敛速率。

实验结果

研究问题

• RQ1 在扰动条件下，惯性系统 $\ddot{x}(t) + \frac{\alpha}{t}\dot{x}(t) + \nabla\Phi(x(t)) = g(t)$ 的目标函数值 $\Phi(x(t))$ 的收敛速率如何？
• RQ2 当 $\alpha > 3$ 且 $g(t)$ 较小时，轨迹 $x(t)$ 在何种条件下弱收敛至 $\Phi$ 的极小化点？
• RQ3 扰动或算法误差如何影响FISTA型算法的快速 $O(1/t^2)$ 收敛？
• RQ4 在如Chambolle-Dossal变体中引入误差时，$O(1/t^2)$ 收敛速率是否可在离散算法中保持？
• RQ5 参数 $\alpha$ 在惯性动力学中如何在阻尼衰减与收敛速度之间取得平衡？

主要发现

• 当 $\alpha \geq 3$ 且 $\int_{t_0}^{\infty} t\|g(t)\|dt < \infty$ 时，目标函数满足 $\Phi(x(t)) - \min_{\mathcal{H}}\Phi \leq \frac{C}{t^2}$，确立了快速 $O(1/t^2)$ 收敛。
• 当 $\alpha > 3$ 时，系统的任意轨迹均弱收敛至 $\Phi$ 的极小化点，扩展了无扰动情形下的收敛结果。
• 在相同扰动假设下，该系统的离散时间类比保持了目标函数的 $O(1/t^2)$ 收敛速率。
• 在 $\alpha > 3$ 条件下，建立了离散算法的轨迹收敛性，而对应于Nesterov方法的 $\alpha = 3$ 情形仍为开放问题。
• 分析表明，只要扰动在加权意义下可积（即 $\sum_k k\|g_k\| < \infty$），小扰动或算法误差不会破坏快速收敛速率。
• 证明依赖于精心构造的李雅普诺夫函数以及控制序列 $h_k = \Phi(x_k) + \frac{1}{2}\|x_k - x^*\|^2$ 衰减的离散可求和引理。