[论文解读] Faster convergence rates of relaxed Peaceman-Rachford and ADMM under regularity assumptions

Damek Davis, Wotao Yin|arXiv (Cornell University)|Jul 19, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用 35

一句话总结

本文在强凸性、Lipschitz连续梯度以及有界线性一致正则性等各类正则性假设下，建立了松弛型Peaceman-Rachford分裂法（PRS）与ADMM的更快收敛速率，证明了这些算法能自动适应问题结构，并实现超越最坏情况界的良好收敛速率。分析基于简单技术，包括可 summable 序列引理与固定点残差不等式，并验证了在若干情况下改进的速率是紧致的。

ABSTRACT

Splitting schemes are a class of powerful algorithms that solve complicated monotone inclusion and convex optimization problems that are built from many simpler pieces. They give rise to algorithms in which the simple pieces of the decomposition are processed individually. This leads to easily implementable and highly parallelizable algorithms, which often obtain nearly state-of-the-art performance. In this paper, we provide a comprehensive convergence rate analysis of the Douglas-Rachford splitting (DRS), Peaceman-Rachford splitting (PRS), and alternating direction method of multipliers (ADMM) algorithms under various regularity assumptions including strong convexity, Lipschitz differentiability, and bounded linear regularity. The main consequence of this work is that relaxed PRS and ADMM automatically adapt to the regularity of the problem and achieve convergence rates that improve upon the (tight) worst-case rates that hold in the absence of such regularity. All of the results are obtained using simple techniques.

研究动机与目标

• 在强于一般凸性的正则性假设下，对松弛型Peaceman-Rachford分裂法（PRS）与ADMM提供全面的收敛速率分析。
• 证明松弛型PRS与ADMM能自动适应问题正则性，并实现优于以往工作所建立的最坏情况速率的更快收敛。
• 通过强凸性与Lipschitz可微性等条件推导改进的收敛速率，弥合理论最坏情况速率与实际观测性能之间的差距。
• 使用基本技术（如固定点残差界与可 summable 序列引理）统一并拓展PRS与ADMM的收敛速率分析。
• 通过展示在给定假设下新速率无法进一步改进，验证其紧致性，使用先前工作的反例进行说明。

提出的方法

• 采用固定点框架分析松弛型PRS与ADMM，将其建模为希尔伯特空间中非扩张与平均算子的迭代。
• 应用关键引理（引理1.1），该引理可从固定点残差衰减推导出可 summable 单调序列的收敛速率，从而实现速率推导。
• 使用几何图示（图LABEL:fig:DRSTR）可视化PRS与ADMM方案中迭代点与收敛行为之间的关系。
• 利用基本不等式（命题2、3、4与13）推导固定点残差（FPR）与目标误差之间的界，将残差衰减与目标收敛相联系。
• 分析非遍历与遍历收敛速率，根据不同正则类型区分最优迭代点与平均迭代点的收敛。
• 考虑多种问题结构：无约束复合最小化问题（问题1）与线性约束问题（问题2），其中ADMM应用于后者。

实验结果

研究问题

• RQ1 当存在更强的正则性假设（如强凸性或Lipschitz梯度）时，松弛型PRS与ADMM是否能实现优于最坏情况 $o(1/k)$ 与 $O(1/k)$ 的收敛速率？
• RQ2 松弛型PRS与ADMM在多大程度上能基于问题结构自适应地改进收敛性能？这种自适应性能否被形式化并给出界？
• RQ3 在强凸性或Lipschitz可微性假设下推导出的改进收敛速率是否紧致？是否还能进一步提升？
• RQ4 在类似假设下，松弛型PRS与ADMM的收敛速率与标准乘子法（MM）或Douglas-Rachford分裂法（DRS）相比如何？
• RQ5 能否使用简单、基本的技术（而不依赖复杂算子理论）统一不同正则条件下的收敛分析？

主要发现

• 在 $f$ 或 $g$ 强凸的条件下，松弛型PRS实现非遍历目标误差速率 $o(1/k)$ 与遍历速率 $O(1/k)$，优于最坏情况的 $o(1/k)$ 速率。
• 当 $\nabla g$ 满足Lipschitz连续时，松弛型PRS实现非遍历速率 $o(1/k)$ 与遍历速率 $O(1/k)$；在额外强凸性条件下，实现线性速率 $O(e^{-k})$。
• 对于应用于线性约束问题的ADMM，若 $f$ 或 $g$ 强凸且约束矩阵满行秩，则算法实现R-线性收敛 $O(e^{-k})$。
• 当 $\nabla f$ 或 $\nabla g$ 满足Lipschitz连续且问题满足有界线性正则性时，ADMM实现非遍历目标误差速率 $o(1/k)$ 与遍历速率 $O(1/k)$。
• 在强凸性条件下，松弛型PRS的固定点残差（FPR）收敛速率为 $o(1/k)$；在Lipschitz梯度条件下为 $O(1/k)$，且在遍历情况下具有更紧的界。
• 结果证实改进的速率是紧致的：若干推导出的速率无法进一步改进，如先前工作中的反例所示。