[论文解读] On the Duality Gap Convergence of ADMM Methods

Da Tang, Tong Zhang|arXiv (Cornell University)|Aug 15, 2015

Matrix Theory and Algorithms参考文献 14被引用 3

一句话总结

本文在光滑且强凸条件下，对标准ADMM和线性化ADMM进行了对偶间隙收敛性分析。结果表明，标准ADMM的线性收敛速率更快，为 $1 - \Theta(\sqrt{\lambda\gamma})$，而线性化ADMM的收敛速率为 $1 - \Theta(\lambda\gamma)$，且通过匹配的下界分析与数值验证，证实了ADMM在参数最优调节时性能更优。

ABSTRACT

This paper provides a duality gap convergence analysis for the standard ADMM as well as a linearized version of ADMM. It is shown that under appropriate conditions, both methods achieve linear convergence. However, the standard ADMM achieves a faster accelerated convergence rate than that of the linearized ADMM. A simple numerical example is used to illustrate the difference in convergence behavior.

研究动机与目标

• 在优化中常见的假设下，分析标准ADMM与线性化ADMM的对偶间隙收敛性。
• 比较两种方法在光滑且强凸问题下的最坏情况线性收敛速率。
• 建立匹配的下界，以确认理论收敛速率的差异。
• 通过不同惩罚参数 $\rho$ 的数值例子，展示收敛行为的差异。
• 证明标准ADMM由于其固有的更快收敛速率，无需Nesterov加速。

提出的方法

• 采用原始-对偶分析方法，直接对原始目标函数和对偶间隙的收敛性进行有界分析。
• 在 $A$ 可逆、$g$ 为 $\lambda$-强凸、$\phi$ 为 $1/\gamma$-光滑的假设下，推导标准ADMM与线性化ADMM的最坏情况线性收敛速率。
• 通过线性化迭代矩阵的特征值分析，推导收敛速率上界，表明标准ADMM的速率依赖于 $\sqrt{\lambda\gamma}$，而线性化ADMM的速率依赖于 $\lambda\gamma$。
• 引入对称正半定矩阵 $G$ 和 $H$ 的预条件技术，以简化子问题，特别是将 $v^\top B^\top B v$ 替换为 $v^\top v$。
• 设计一维测试问题，其中 $\phi(w)$ 和 $g(v)$ 满足光滑性与强凸性，从而可显式计算收敛速率。
• 通过误差 $\sqrt{w^2 + v^2}$ 比较不同 $\rho$ 值下的收敛行为，表明ADMM对 $\rho$ 敏感，且在最优 $\rho$ 下收敛更快。

实验结果

研究问题

• RQ1 在光滑且强凸问题下，标准ADMM的最坏情况线性收敛速率是多少？
• RQ2 在相同假设下，线性化ADMM的收敛速率与标准ADMM相比如何？
• RQ3 能否为特定问题实例构造匹配的下界，以确认两种方法之间的理论速率差异？
• RQ4 不同的惩罚参数 $\rho$ 在实际中如何影响收敛行为？
• RQ5 考虑到标准ADMM本身已具备更快的收敛速率，是否仍需要Nesterov加速？

主要发现

• 在最优 $\rho$ 选择下，标准ADMM的最坏情况线性收敛速率为 $1 - \Theta(\sqrt{\lambda\gamma})$，快于线性化ADMM的 $1 - \Theta(\lambda\gamma)$。
• 通过为特定问题实例构造的匹配下界，证实了两种方法收敛速率的理论差异。
• 数值结果表明，ADMM的收敛速度显著快于线性化ADMM，尤其在 $\rho$ 被最优调节时。
• 当 $\gamma = 0.1$，$\lambda = \mu = 0.2$ 时，ADMM在 $\rho = \sqrt{\lambda/\gamma}$ 下的收敛速率为 0.21，而线性化ADMM在相同 $\rho$ 下为 0.53，充分体现了ADMM的优越性。
• 当 $\gamma = \lambda = \mu = 1$ 时，ADMM在最优 $\rho$ 下的收敛速率为 0.49，而线性化ADMM为 0.69，再次表明ADMM收敛更快。
• 结果表明，理论上标准ADMM无需Nesterov加速，因其已实现光滑-强凸问题下的 $\sqrt{\lambda\gamma}$-速率。