[论文解读] Inertial primal-dual algorithms for structured convex optimization

Raymond H. Chan, Shiqian Ma+1 more|arXiv (Cornell University)|Sep 10, 2014

Sparse and Compressive Sensing Techniques参考文献 42被引用 8

一句话总结

本文提出了一种惯性原始-对偶算法（iCPA），通过将外推步骤引入Chambolle-Pock原始-对偶算法（CPA）来解决结构化凸优化问题。研究证明CPA在适当初始化下等价于线性化ADMM，且建立了全局收敛性，非渐近收敛率为$O(1/k)$，渐近收敛率为$o(1/k)$。在基于全变差的图像重建实验中，iCPA在不增加计算成本的前提下显著加速了收敛速度。

ABSTRACT

The primal-dual algorithm recently proposed by Chambolle & Pock (abbreviated as CPA) for structured convex optimization is very efficient and popular. It was shown by Chambolle & Pock in \cite{CP11} and also by Shefi & Teboulle in \cite{ST14} that CPA and variants are closely related to preconditioned versions of the popular alternating direction method of multipliers (abbreviated as ADM). In this paper, we further clarify this connection and show that CPAs generate exactly the same sequence of points with the so-called linearized ADM (abbreviated as LADM) applied to either the primal problem or its Lagrangian dual, depending on different updating orders of the primal and the dual variables in CPAs, as long as the initial points for the LADM are properly chosen. The dependence on initial points for LADM can be relaxed by focusing on cyclically equivalent forms of the algorithms. Furthermore, by utilizing the fact that CPAs are applications of a general weighted proximal point method to the mixed variational inequality formulation of the KKT system, where the weighting matrix is positive definite under a parameter condition, we are able to propose and analyze inertial variants of CPAs. Under certain conditions, global point-convergence, nonasymptotic $O(1/k)$ and asymptotic $o(1/k)$ convergence rate of the proposed inertial CPAs can be guaranteed, where $k$ denotes the iteration index. Finally, we demonstrate the profits gained by introducing the inertial extrapolation step via experimental results on compressive image reconstruction based on total variation minimization.

研究动机与目标

• 阐明原始-对偶算法（CPA）与线性化ADMM（LADM）在求解结构化凸优化问题时的等价性。
• 通过将加权邻近点法应用于KKT系统，构建CPA的惯性变体。
• 为所提出的惯性CPA建立全局收敛性，并证明其在特定参数条件下的非渐近$O(1/k)$与渐近$o(1/k)$收敛速率。
• 展示惯性外推在加速图像重建任务收敛性方面的实际优势。
• 研究惯性参数的影响，并提出确保稳定高效性能的策略。

提出的方法

• 将原始-对偶问题表述为由KKT系统导出的混合变分不等式。
• 在KKT系统上应用一般加权邻近点法（PPM），在参数满足特定条件下使用正定加权矩阵。
• 在CPA框架中引入惯性外推步骤，采用非递减且上界为$1/3$的序列$\alpha_k$。
• 推导算法的循环等价形式，以降低对初始点选择的依赖性。
• 利用Moreau分解确保对原始与对偶函数的邻近算子实现高效计算。
• 采用线性化ADMM形式作为对偶解释，证明在适当初始化下序列完全等价。

实验结果

研究问题

• RQ1 Chambolle-Pock原始-对偶算法与线性化ADMM在求解结构化凸优化问题时有何关系？
• RQ2 是否可以系统性地将惯性外推融入原始-对偶算法，同时保持收敛性？
• RQ3 在特定参数条件下，惯性原始-对偶算法的收敛速率可保证为何种形式？
• RQ4 惯性步骤如何提升在全变差图像重建等实际应用中的性能？
• RQ5 选择惯性参数$\alpha_k$的最优策略为何，以确保稳定性和加速性能？

主要发现

• 当初始点选择适当时，Chambolle-Pock原始-对偶算法（CPA）与线性化ADMM（LADM）生成完全相同的迭代序列，建立了强等价性。
• 惯性原始-对偶算法（iCPA）在条件$0 \leq \alpha_k \leq \alpha_{k+1} \leq \alpha < 1/3$下实现全局点收敛。
• 所提出的iCPA实现了非渐近收敛率$O(1/k)$与渐近收敛率$o(1/k)$，这是惯性方法中的新结果。
• 在基于全变差最小化的压缩图像重建中，iCPA相比标准CPA显著减少了达到给定精度所需的迭代次数。
• 当精度容差从$\varepsilon = 10^{-4}$收紧时，平均迭代次数从几十次增加到约1,000次，而iCPA始终优于CPA。
• 较大的恒定惯性参数（如$\alpha = 0.35$）可获得更优性能，但超过$0.3$的值可能引发不稳定性，尤其在测量次数较少时。