[论文解读] A primal-dual algorithm with optimal stepsizes and its application in decentralized consensus optimization

Zhi Li, Ming Yan|arXiv (Cornell University)|Nov 18, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用 12

一句话总结

本文提出了一种增强的原始-对偶算法，用于最小化复合函数 $ f(x) + h \square l(Ax) $，其中 $ f $ 是可微的，$ l^* $ 也是可微的。该算法在弱条件下实现了收敛，且对偶步长为最优值；在附加假设下证明了线性收敛性，并将其应用于分布式一致性优化，推导出比以往已知更大的 EXTRA 和 PG-EXTRA 的最优步长。

ABSTRACT

We consider a primal-dual algorithm for minimizing $f(x)+h(Ax)$ with differentiable $f$. The primal-dual algorithm has two names in literature: Primal-Dual Fixed-Point algorithm based on the Proximity Operator (PDFP$^2$O) and Proximal Alternating Predictor-Corrector (PAPC). In this paper, we extend it to solve $f(x)+h\square l(Ax)$ with differentiable $l^*$ and prove its convergence under a weak condition (i.e., under a large dual stepsize). With additional assumptions, we show its linear convergence. In addition, we show that this condition is optimal and can not be weaken. This result recovers the recent proposed positive-indefinite linearized augmented Lagrangian method. Then we consider the application of this primal-dual algorithm in decentralized consensus optimization. We show that EXact firsT-ordeR Algorithm (EXTRA) and Proximal Gradient-EXTRA (PG-EXTRA) can be consider as the primal-dual algorithm applied on a problem in the form of $h\square l(Ax)$. Then, the optimal upper bound of the stepsize for EXTRA/PG-EXTRA is derived. It is larger than the existing work on EXTRA/PG-EXTRA. Furthermore, for the case with strongly convex functions, we proved linear convergence under the same condition for the stepsize.

研究动机与目标

• 将原始-对偶算法 PDFP$^2$O/PAPC 扩展至处理涉及下确界卷积 $ h \square l(Ax) $ 的复合函数。
• 在弱条件下建立收敛性，具体而言允许较大的对偶步长，并证明该条件为最优。
• 推导出分布式一致性算法 EXTRA 和 PG-EXTRA 中步长的最优上界。
• 在相同最优步长条件下，证明强凸函数下的线性收敛性。

提出的方法

• 该算法基于邻近算子，以原始-对偶固定点迭代的形式构建，扩展后可处理 $ f(x) + h \square l(Ax) $，其中 $ l^* $ 为可微函数。
• 在允许较大对偶步长的弱条件下证明了收敛性，且通过理论分析表明该条件为最优。
• 该方法利用下确界卷积 $ h \square l(Ax) $ 的结构，以建模分布式一致性问题。
• 通过将问题重述为 $ h \square l(Ax) $ 的形式，将该算法应用于分布式一致性优化，使 EXTRA 和 PG-EXTRA 成为其特例。
• 在附加假设（如强凸性）下，建立了线性收敛性，且使用相同的最优步长条件。
• 该分析将正定-不定线性化增广拉格朗日法作为特例恢复并推广。

实验结果

研究问题

• RQ1 原始-对偶算法能否被扩展以处理涉及下确界卷积 $ h \square l(Ax) $ 且 $ l^* $ 可微的复合函数？
• RQ2 保证算法收敛的对偶步长最弱条件是什么？
• RQ3 所推导的收敛步长条件是否最优，能否进一步弱化？
• RQ4 该算法与现有分布式一致性方法（如 EXTRA 和 PG-EXTRA）有何关系？
• RQ5 EXTRA 和 PG-EXTRA 中步长的最优上界是多少？在强凸问题下，该上界是否仍能保证线性收敛？

主要发现

• 所提出的原始-对偶算法在允许较大对偶步长的弱条件下实现收敛，且该条件被证明为最优，无法进一步弱化。
• 当目标函数为强凸函数时，该算法在相同最优步长条件下实现线性收敛。
• 推导出 EXTRA 和 PG-EXTRA 中步长的最优上界，且其值大于以往研究中的结果。
• EXTRA 和 PG-EXTRA 被正式解释为所提原始-对偶算法在 $ h \square l(Ax) $ 形式问题上的实例。
• 该分析将正定-不定线性化增广拉格朗日法作为特例恢复，证实了与近期进展的一致性。