[论文解读] Fast Proximal Linearized Alternating Direction Method of Multiplier with Parallel Splitting

Canyi Lu, Huan Li+2 more|arXiv (Cornell University)|Nov 14, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用 14

一句话总结

本文提出了一种名为快速近似线性交替方向乘子法并行分裂（Fast PL-ADMM-PS）的新算法，用于求解具有平滑与非平滑分量的多块凸优化问题。通过引入Nesterov加速并线性化平滑项，该算法在原始变量上的收敛速率提升至$O(1/K^2)$，在合成数据和真实世界数据上，无论在理论上还是实践中，均显著优于传统ADMM和PALM方法。

ABSTRACT

The Augmented Lagragian Method (ALM) and Alternating Direction Method of Multiplier (ADMM) have been powerful optimization methods for general convex programming subject to linear constraint. We consider the convex problem whose objective consists of a smooth part and a nonsmooth but simple part. We propose the Fast Proximal Augmented Lagragian Method (Fast PALM) which achieves the convergence rate $O(1/K^2)$, compared with $O(1/K)$ by the traditional PALM. In order to further reduce the per-iteration complexity and handle the multi-blocks problem, we propose the Fast Proximal ADMM with Parallel Splitting (Fast PL-ADMM-PS) method. It also partially improves the rate related to the smooth part of the objective function. Experimental results on both synthesized and real world data demonstrate that our fast methods significantly improve the previous PALM and ADMM.

研究动机与目标

• 为解决传统交替方向乘子法（ADMM）和近端交替线性化方法（PALM）在求解多块凸问题时收敛速度缓慢的问题。
• 降低基于ADMM的方法在具有非单位线性算子问题中的每次迭代计算成本。
• 通过引入Nesterov类型加速，将现有近端ADMM变体的收敛速率从$O(1/K)$提升至$O(1/K^2)$。
• 设计一种可扩展且可并行化的算法，适用于具有结构化目标的大规模机器学习与信号处理应用。

提出的方法

• 提出Fast PALM，一种快速近端版本的ALM，通过在近端更新框架中引入Nesterov加速，实现$O(1/K^2)$的收敛速率。
• 提出Fast PL-ADMM-PS，一种多块扩展方法，对平滑部分$g_i$进行线性化，并应用近端项以解耦变量，实现并行计算。
• 采用自适应步长策略，通过序列$\theta^{(k)}$实现，其满足$\theta^{(k+1)} = \frac{1 + \sqrt{1 + 4(\theta^{(k)})^2}}{2}$，以加速收敛。
• 使用带有可变惩罚参数$\beta^{(k)}$的线性化增广拉格朗日函数，简化子问题求解过程，同时保持收敛性。
• 通过并行分裂方法同时求解$n$个块的子问题，降低依赖性，提升可扩展性。
• 基于李雅普诺夫函数推导收敛性保证，并在标准假设（如利普希茨连续性和有界次梯度）下建立全局收敛性。

实验结果

研究问题

• RQ1 Nesterov类型加速能否有效集成到ADMM框架中，以提升多块凸问题的收敛速率？
• RQ2 在ADMM中对平滑分量$g_i$进行线性化是否能在不牺牲收敛质量的前提下降低每次迭代的计算成本？
• RQ3 在多块设置下，能否将现有近端ADMM方法的收敛速率从$O(1/K)$提升至$O(1/K^2)$？
• RQ4 与标准ADMM和PALM相比，所提出的Fast PL-ADMM-PS方法在真实世界和合成数据集上的实际表现如何？
• RQ5 加速ADMM结合并行分裂的全局线性收敛性在何种理论条件下成立？

主要发现

• 所提出的Fast PL-ADMM-PS在原始变量上的收敛速率为$O(1/K^2)$，显著优于标准PALM和ADMM的$O(1/K)$速率。
• 通过线性化平滑项$g_i$，该方法降低了每次迭代的复杂度，实现了更快且更具可扩展性的子问题求解。
• 在合成数据和真实世界数据（如矩阵补全、Lasso、低秩恢复）上的实验结果表明，Fast PL-ADMM-PS的收敛速度优于PALM和标准ADMM。
• 理论分析证实，在标准假设下（包括有界次梯度和线性算子$\mathcal{A}$的满行秩）可实现全局收敛。
• 即使$\mathcal{A}_i$非单位算子（在矩阵补全和压缩感知等实际应用中常见），该算法仍能保持收敛性。
• 收敛界依赖于$D_{\mathbf{x}^*}^2$、$D_{\bm{λ}}^2$和$D_X^2$，其中$1/K^2$的衰减速率主导了误差项。