[论文解读] A new primal-dual algorithm for minimizing the sum of three functions with a linear operator

Ming Yan|arXiv (Cornell University)|Nov 29, 2016

Sparse and Compressive Sensing Techniques参考文献 31被引用 5

一句话总结

该论文提出PD3O，一种用于最小化涉及线性算子的三个凸函数之和的新原始-对偶算法。它扩展了现有的Chambolle-Pock和PAPC方法，实现了O(1/k)的平均收敛速率，并在更广的收敛参数范围内保持了更低的每次迭代成本，通过融合Lasso和图像重建问题上的数值实验得到验证。

ABSTRACT

In this paper, we propose a new primal-dual algorithm for minimizing $f(x) + g(x) + h(Ax)$, where $f$, $g$, and $h$ are proper lower semi-continuous convex functions, $f$ is differentiable with a Lipschitz continuous gradient, and $A$ is a bounded linear operator. The proposed algorithm has some famous primal-dual algorithms for minimizing the sum of two functions as special cases. E.g., it reduces to the Chambolle-Pock algorithm when $f = 0$ and the proximal alternating predictor-corrector when $g = 0$. For the general convex case, we prove the convergence of this new algorithm in terms of the distance to a fixed point by showing that the iteration is a nonexpansive operator. In addition, we prove the $O(1/k)$ ergodic convergence rate in the primal-dual gap. With additional assumptions, we derive the linear convergence rate in terms of the distance to the fixed point. Comparing to other primal-dual algorithms for solving the same problem, this algorithm extends the range of acceptable parameters to ensure its convergence and has a smaller per-iteration cost. The numerical experiments show the efficiency of this algorithm.

研究动机与目标

• 开发一种新的原始-对偶算法，用于最小化包含线性算子的三个凸函数之和，推广现有的两函数方法。
• 与现有的三算子原始-对偶算法相比，扩展可接受参数的收敛范围。
• 在保持收敛保证的前提下，降低每次迭代的计算成本。
• 在一般凸情况下，建立算法在原始-对偶间隙上的O(1/k)平均收敛速率。
• 通过在融合Lasso和图像恢复问题上的数值实验，展示算法的效率和鲁棒性。

提出的方法

• 该算法通过在非扩张算子上使用不动点迭代推导得出，利用单调算子理论确保收敛。
• 它结合了三个近端映射：针对f（具有Lipschitz连续梯度的可微函数）、g（近端映射）和h（近端映射），其中线性算子A作用于x。
• 该方法采用原始-对偶分裂格式，通过交替更新原始变量和对偶变量，并引入松弛参数。
• 当f=0时，该算法退化为Chambolle-Pock；当g=0时，退化为PAPC，表明其同时推广了两者。
• 通过避免昂贵的矩阵求逆并利用高效的近端计算，实现了较低的每次迭代成本。
• 收敛性分析基于证明迭代过程为非扩张算子，并在附加假设下建立了线性收敛性。

实验结果

研究问题

• RQ1 能否设计一种新的原始-对偶算法，用于最小化包含线性算子的三个凸函数之和，同时推广现有的两函数方法？
• RQ2 此类三算子原始-对偶方案中，确保收敛的参数范围是什么？
• RQ3 与现有三算子原始-对偶方法相比，新算法的每次迭代计算成本如何？
• RQ4 在一般凸情况下，新算法可建立何种收敛速率？
• RQ5 该算法能否高效应用于融合Lasso和具有多重正则化的图像恢复等实际问题？

主要发现

• 所提出的PD3O算法在一般凸情况下，实现了原始-对偶间隙的O(1/k)平均收敛速率。
• 与现有方法如Condat-Vu、AFBA和PDFP相比，该算法在更广的参数范围内保证收敛。
• 由于避免了额外的近端映射，PD3O的每次迭代计算成本低于PDFP。
• 数值实验表明，PD3O的收敛速度优于Condat-Vu、AFBA和PDFP，尤其在使用较大步长参数时表现更优。
• 当λ从1/8增加到1/4时，收敛性能未见改善，且在约2000次迭代后性能开始下降，表明参数选择存在权衡。
• 当A=I且选择特定参数时，该算法退化为Davis-Yin三算子分裂方法，确认其与已知方法的一致性。