[论文解读] An Accelerated Linearized Alternating Direction Method of Multipliers

Yuyuan Ouyang, Yunmei Chen+2 more|arXiv (Cornell University)|Jan 26, 2014

Sparse and Compressive Sensing Techniques被引用 12

一句话总结

本文提出 AADMM，一种加速的线性化 ADMM 框架，通过将多步动量整合到线性化 ADMM 算法中，以提升具有线性约束的凸复合优化问题的收敛速度。该方法在平滑分量的利普希茨常数依赖性方面优于标准线性化 ADMM，并且在存在鞍点时能够处理有界和无界可行集，实证结果表明其性能优于现有方法如 BOSVS。

ABSTRACT

We present a novel framework, namely AADMM, for acceleration of linearized alternating direction method of multipliers (ADMM). The basic idea of AADMM is to incorporate a multi-step acceleration scheme into linearized ADMM. We demonstrate that for solving a class of convex composite optimization with linear constraints, the rate of convergence of AADMM is better than that of linearized ADMM, in terms of their dependence on the Lipschitz constant of the smooth component. Moreover, AADMM is capable to deal with the situation when the feasible region is unbounded, as long as the corresponding saddle point problem has a solution. A backtracking algorithm is also proposed for practical performance.

研究动机与目标

• 开发一种更快的一阶方法，用于求解具有线性约束的凸复合优化问题。
• 通过整合多步加速技术，提升线性化 ADMM 的收敛速度。
• 在存在鞍点的前提下，将线性化 ADMM 的适用范围扩展到无界可行集。
• 设计一种实用的回溯线搜索策略，以增强算法性能。
• 通过在图像重建问题上的数值实验，验证理论改进的有效性。

提出的方法

• 提出 AADMM 作为一种新颖框架，将线性化 ADMM 与多步加速方案相结合，以提升收敛速度。
• 采用基于动量的更新策略，利用历史迭代信息加速收敛，灵感源自内格尔型加速。
• 引入一种回溯线搜索算法，自适应选择步长，提升实际性能，且无需事先知晓利普希茨常数。
• 将方法应用于求解仿射等式约束复合优化（AECCO）问题，将其重新表述为鞍点问题。
• 对非光滑项采用类似邻近的更新，对光滑项采用基于梯度的更新，确保计算效率。
• 理论分析表明，收敛速度对平滑分量的利普希茨常数具有有利依赖性，优于标准线性化 ADMM。

实验结果

研究问题

• RQ1 多步加速能否有效集成到线性化 ADMM 中以提升收敛速度？
• RQ2 当存在鞍点时，所提出的 AADMM 框架是否仍能保持对无界可行集的收敛性？
• RQ3 在实际图像重建任务中，AADMM 与 BOSVS 和标准线性化 ADMM 相比性能如何？
• RQ4 回溯线搜索策略能否提升 AADMM 在真实应用中的鲁棒性和效率？
• RQ5 AADMM 的收敛速度对平滑分量的利普希茨常数的理论依赖关系如何？

主要发现

• AADMM 的收敛速度优于线性化 ADMM，且对平滑分量的利普希茨常数依赖性更优。
• 该方法在存在鞍点的前提下，对有界和无界可行集均有效。
• 在图像重建实验中，采用回溯线搜索的 AADMM 在降低原始目标值和与真实值的相对误差方面优于 BOSVS。
• 在笛卡尔 k 空间采样下性能提升最为显著，该情形因低频数据采集受限而更具挑战性。
• 数值结果证实，AADMM 收敛更快，且目标值和重建误差均低于 BOSVS，尤其在困难采样场景下表现更优。
• 回溯线搜索显著提升了实际性能，使 AADMM 在不同问题实例和参数设置下均表现出鲁棒性。