[论文解读] Convergence rate analysis of several splitting schemes

Damek Davis, Wotao Yin|arXiv (Cornell University)|Jun 18, 2014

Optimization and Variational Analysis被引用 9

一句话总结

本文在一般凸性假设下，对Douglas-Rachford、Peaceman-Rachford和ADMM等分裂算法提供了全面的收敛速率分析。研究建立了固定点残差（FPR）和目标误差的紧致little-o收敛速率，表明在遍历意义下DRS的收敛速度几乎与PPA相当，在非遍历意义下则几乎与次梯度法相当。

ABSTRACT

Splitting schemes are a class of powerful algorithms that solve complicated monotone inclusions and convex optimization problems that are built from many simpler pieces. They give rise to algorithms in which the simple pieces of the decomposition are processed individually. This leads to easily implementable and highly parallelizable algorithms, which often obtain nearly state-of-the-art performance. In the first part of this paper, we analyze the convergence rates of several general splitting algorithms and provide examples to prove the tightness of our results. The most general rates are proved for the \emph{fixed-point residual} (FPR) of the Krasnosel'skiĭ-Mann (KM) iteration of nonexpansive operators, where we improve the known big-$O$ rate to little-$o$. We show the tightness of this result and improve it in several special cases. In the second part of this paper, we use the convergence rates derived for the KM iteration to analyze the \emph{objective error} convergence rates for the Douglas-Rachford (DRS), Peaceman-Rachford (PRS), and ADMM splitting algorithms under general convexity assumptions. We show, by way of example, that the rates obtained for these algorithms are tight in all cases and obtain the surprising statement: The DRS algorithm is nearly as fast as the proximal point algorithm (PPA) in the ergodic sense and nearly as slow as the subgradient method in the nonergodic sense. Finally, we provide several applications of our result to feasibility problems, model fitting, and distributed optimization. Our analysis is self-contained, and most results are deduced from a basic lemma that derives convergence rates for summable sequences, a simple diagram that decomposes each relaxed PRS iteration, and fundamental inequalities that relate the FPR to objective error.

研究动机与目标

• 在一般凸性假设下，为关键分裂算法的固定点残差（FPR）和目标误差建立紧致的收敛速率界。
• 解决DRS和ADMM等算法在非遍历与遍历收敛速率之间长期存在的理解差距。
• 通过紧致示例和理论分析，证明所推导速率的最优性。
• 利用关于可 summable 序列和基本不等式的核引理，统一并推广收敛速率结果。
• 将分析扩展至分布式和去中心化优化场景，应用于网络化和并行问题。

提出的方法

• 基于关于可summable单调序列的基本引理，推导非扩张算子的Krasnosel’skiï-Mann迭代的收敛速率。
• 引入一个简单图示，将松弛化Peaceman-Rachford分裂（PRS）迭代分解为基本步骤。
• 建立松弛化PRS和DRS算法中固定点残差（FPR）与目标误差之间的关键不等式。
• 将FPR速率分析应用于推导Douglas-Rachford分裂（DRS）、Peaceman-Rachford分裂（PRS）和ADMM的目标误差收敛速率。
• 利用该框架分析遍历与非遍历迭代，区分时间平均值与最后迭代的收敛性。
• 通过将问题在图上重新表述并引入局部通信约束，将结果应用于分布式优化，从而导出真正的分布式算法。

实验结果

研究问题

• RQ1 在一般凸性假设下，Krasnosel’skiï-Mann迭代的固定点残差（FPR）的最紧收敛速率是什么？
• RQ2 在一般凸性假设下，DRS、PRS和ADMM的非遍历与遍历收敛速率如何比较？
• RQ3 能否通过紧致示例证明这些分裂算法的收敛速率是最优的？
• RQ4 在一般凸性假设下，松弛化PRS和DRS算法中FPR与目标误差之间有何关系？
• RQ5 这些速率对图上的分布式和去中心化优化有何影响？

主要发现

• Krasnosel’skiï-Mann迭代的固定点残差（FPR）以little-o速率收敛，优于已知的big-O界，且该结果是紧致的。
• 对于Douglas-Rachford分裂（DRS），在非遍历意义下目标误差以little-o速率收敛，与次梯度法的最慢已知速率一致。
• 在遍历意义下，DRS实现O(1/(k+1))的目标误差速率，与邻近点算法（PPA）一致，表明其遍历性能近乎最优。
• ADMM和PRS的收敛速率在所有情况下均被证明是紧致的，其中非遍历目标误差以o(1/sqrt(k+1))速率衰减，FPR以o(1/(k+1))速率衰减。
• 对于图上的分布式优化，所推导的非遍历与遍历速率是全新的，且在更强假设下补充了现有的线性收敛结果。
• 分析表明，所推导的速率本质上是最优的，通过所有算法变体和设置下的紧致示例得到验证。