[论文解读] An accelerated forward-backward algorithm for monotone inclusions.

Dirk A. Lorenz, Thomas Pock|arXiv (Cornell University)|Mar 14, 2014

Sparse and Compressive Sensing Techniques参考文献 34被引用 9

一句话总结

该论文提出了一种惯性前向-后向分裂算法，用于求解涉及一个共-利普希茨连续算子的单调包含问题，其灵感源自内斯特罗夫的加速梯度法。该方法在保持与现有一阶方法相似的每次迭代计算成本的同时，实现了更快的收敛速度，适用于凸-凹鞍点问题以及希尔伯特空间中的广义单调包含问题。

ABSTRACT

In this paper, we propose an inertial forward backward splitting algorithm to compute a zero of the sum of two monotone operators, with one of the two operators being co-coercive. The algorithm is inspired by the accelerated gradient method of Nesterov, but can be applied to a much larger class of problems including convex-concave saddle point problems and general monotone inclusions. We prove convergence of the algorithm in a Hilbert space setting and show that several recently proposed first-order methods can be obtained as special cases of the general algorithm. Numerical results show that the proposed algorithm converges faster than existing methods, while keeping the computational cost of each iteration basically unchanged.

研究动机与目标

• 开发一种高效的一阶算法，用于计算两个单调算子之和的零点，其中一个算子为共-利普希茨连续算子。
• 将内斯特罗夫的加速技术扩展至超出光滑凸优化范畴的单调包含问题。
• 将近期提出的若干一阶方法统一并推广为单一框架下的特例。
• 在希尔伯特空间设置下确保收敛性，同时保持每次迭代的低复杂度。

提出的方法

• 该算法引入受内斯特罗夫动量法启发的惯性项，以加速收敛。
• 采用带松弛参数的前向-后向分裂格式，以处理单调算子之和。
• 一个算子的共-利普希茨连续性特性，使得能够获得更强的收敛保证和更快的迭代过程。
• 该方法在希尔伯特空间中进行公式化，使其可广泛应用于凸-凹鞍点问题和单调变分不等式。
• 通过李雅普诺夫分析及非扩张算子的性质，证明了该算法的收敛性。
• 该框架通过允许参数可变及惯性超松弛，推广了现有方法。

实验结果

研究问题

• RQ1 内斯特罗夫型加速能否有效扩展至具有共-利普希茨连续算子的单调包含问题？
• RQ2 与现有的一阶方法相比，该惯性前向-后向方法在收敛速度上表现如何？
• RQ3 该算法在一般希尔伯特空间设置下的收敛行为如何？
• RQ4 哪些现有的一阶方法可作为所提框架的特例被恢复？

主要发现

• 所提出的算法在单调包含问题上实现了比现有的一阶方法更快的收敛速度。
• 与标准前向-后向分裂相比，收敛速率得到加速，且未增加每次迭代的计算成本。
• 已证明近期提出的若干一阶方法均为该通用算法的特例。
• 该方法适用于凸-凹鞍点问题以及希尔伯特空间中的广义单调包含问题。