[论文解读] A Primal-dual Three-operator Splitting Scheme

Ming Yan|arXiv (Cornell University)|Nov 29, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用 2

一句话总结

本文提出了一种新颖的原始-对偶三算子分裂算法，用于最小化三个凸函数之和，其中包括一个具有利普希茨连续梯度的可微项和一个线性变换项。该算法在原始-对偶间隙上实现了 O(1/k) 的遍历收敛速率，并在额外假设下表现出线性收敛，相较于现有方法具有更宽泛的参数接受范围和更低的每次迭代计算成本。

ABSTRACT

In this paper, we propose a new primal-dual algorithm for minimizing $f(x) + g(x) + h(Ax)$, where $f$, $g$, and $h$ are proper lower semi-continuous convex functions, $f$ is differentiable with a Lipschitz continuous gradient, and $A$ is a bounded linear operator. The proposed algorithm has some famous primal-dual algorithms for minimizing the sum of two functions as special cases. E.g., it reduces to the Chambolle-Pock algorithm when $f = 0$ and the proximal alternating predictor-corrector when $g = 0$. For the general convex case, we prove the convergence of this new algorithm in terms of the distance to a fixed point by showing that the iteration is a nonexpansive operator. In addition, we prove the $O(1/k)$ ergodic convergence rate in the primal-dual gap. With additional assumptions, we derive the linear convergence rate in terms of the distance to the fixed point. Comparing to other primal-dual algorithms for solving the same problem, this algorithm extends the range of acceptable parameters to ensure its convergence and has a smaller per-iteration cost. The numerical experiments show the efficiency of this algorithm.

研究动机与目标

• 开发一种新的原始-对偶算法，用于最小化 f(x) + g(x) + h(Ax)，其中 f、g、h 为凸函数，且 f 具有利普希茨连续梯度。
• 与现有原始-对偶方法相比，扩展收敛性可接受参数的范围。
• 在保持收敛性保证的前提下，降低每次迭代的计算成本。
• 将众所周知的算法（如 Chambolle-Pock 和近端交替预测-校正算法）统一并推广为特例。

提出的方法

• 该算法采用原始-对偶前向-后向分裂框架，包含三个算子：f、g 和 h(Ax)，利用 f 的可微性以及 g 和 h 的近端算子。
• 引入非扩张算子形式化以通过到不动点的距离分析收敛性。
• 该方法采用一种迭代更新方案，通过 f 的显式梯度步长和 g、h 的隐式近端步长，在原始变量和对偶变量之间交替更新。
• 该算法被设计为能高效处理线性算子 A，避免昂贵的矩阵求逆。
• 采用遍历平均策略，实现在原始-对偶间隙上的 O(1/k) 收敛速率。
• 收敛性分析基于单调算子理论和非扩张映射的性质。

实验结果

研究问题

• RQ1 能否开发一种统一的原始-对偶算法，以推广如 Chambolle-Pock 和近端交替预测-校正等现有两算子方法？
• RQ2 在一般凸情况下，什么条件能保证所提出的三算子分裂方案的收敛性？
• RQ3 与现有方法相比，该算法的收敛速率如何，特别是在遍历与非遍历收敛方面？
• RQ4 算法参数对收敛性有何影响？可接受的参数范围能否扩展？
• RQ5 在更强假设（如强凸性或误差界）下，该算法是否能实现线性收敛？

主要发现

• 所提出的算法在到不动点的距离上收敛，因为迭代是一个非扩张算子。
• 在一般凸情况下，证明了原始-对偶间隙的 O(1/k) 遍历收敛速率。
• 在额外假设（如强凸性或误差界）下，建立了线性收敛性。
• 与现有原始-对偶方法相比，该算法允许更宽泛的参数范围，增强了鲁棒性。
• 由于对线性算子 A 的高效处理，其每次迭代的计算成本低于竞争算法。
• 数值实验验证了该算法在收敛速度和鲁棒性方面的高效性与优越性。