[论文解读] Convergence of inertial dynamics and proximal algorithms governed by maximally monotone operators

Hédy Attouch, Juan Peypouquet|arXiv (Cornell University)|May 10, 2017

Optimization and Variational Analysis参考文献 20被引用 3

一句话总结

本文提出了一种具有消失阻尼和时变Yosida正则化的二阶惯性动力系统，用于求解由极大单调算子控制的单调包含问题。通过将该系统离散化为一种新型正则化惯性邻近算法，作者证明了轨迹弱收敛于算子的零点，给出了速度和加速度消失的显式速率，并建立了对扰动的鲁棒性，以及在满足增长条件时的强收敛性。

ABSTRACT

We study the behavior of the trajectories of a second-order differential equation with vanishing damping, governed by the Yosida regularization of a maximally monotone operator with time-varying index, along with a new {\em Regularized Inertial Proximal Algorithm} obtained by means of a convenient finite-difference discretization. These systems are the counterpart to accelerated forward-backward algorithms in the context of maximally monotone operators. A proper tuning of the parameters allows us to prove the weak convergence of the trajectories to zeroes of the operator. Moreover, it is possible to estimate the rate at which the speed and acceleration vanish. We also study the effect of perturbations or computational errors that leave the convergence properties unchanged. We also analyze a growth condition under which strong convergence can be guaranteed. A simple example shows the criticality of the assumptions on the Yosida approximation parameter, and allows us to illustrate the behavior of these systems compared with some of their close relatives.

研究动机与目标

• 分析具有消失阻尼和时变Yosida正则化的二阶惯性动力系统的渐近行为，以求解单调包含问题。
• 通过连续系统的有限差分离散化，开发一种新型正则化惯性邻近算法。
• 在适当的参数调节下，建立轨迹弱收敛于包含问题解的结论。
• 量化轨迹上速度和加速度随时间趋于无穷时的消失速率。
• 研究扰动下的鲁棒性，以及在何种条件下可实现强收敛。

提出的方法

• 构建一个带有消失阻尼系数 α/t 和极大单调算子 A 的时变 Yosida 正则化 Aλ(t) 的二阶微分方程。
• 采用带时间依赖能量函数的李雅普诺夫分析，以追踪收敛行为。
• 通过连续系统的方便有限差分离散化，推导出一种新型正则化惯性邻近算法。
• 调节 Yosida 正则化参数 λ(t)，以确保收敛性和稳定性。
• 利用富比尼定理和序列可 summability 性质，界定能量衰减并证明收敛性。
• 建立强收敛成立的条件，包括对算子的生长条件。

实验结果

研究问题

• RQ1 在何种条件下，具有消失阻尼和时变Yosida正则化的惯性系统的轨迹会弱收敛于极大单调算子的零点？
• RQ2 当时间趋于无穷时，轨迹的速度和加速度以何种速率消失？
• RQ3 所提出的正则化惯性邻近算法与现有加速方法相比，在收敛性和鲁棒性方面有何差异？
• RQ4 在算法中存在扰动或计算误差时，收敛性质是否仍能保持？
• RQ5 何种算子的生长条件可确保轨迹的强收敛？

主要发现

• 当 α > 3 时，轨迹弱收敛于极大单调算子的零点。
• 能量函数的收敛速率是 o(1/t²)，优于标准方法。
• 轨迹的速度和加速度分别以 o(1/t) 和 o(1/t²) 的速率消失。
• 在时间可积的扰动或计算误差下，收敛性保持鲁棒。
• 若算子满足特定生长条件，则可保证强收敛，该条件通过反例说明了Yosida参数选择的关键性。
• 从连续系统导出的新离散算法继承了收敛性质，并实现了最优收敛速率。