[论文解读] A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization

Min Li, Defeng Sun+1 more|arXiv (Cornell University)|Dec 5, 2014

Sparse and Compressive Sensing Techniques参考文献 27被引用 4

一句话总结

本文提出了一种带有不定邻近项的增广拉格朗日乘子法（ADMM）的主导型交替方向乘子法，用于求解线性约束凸复合优化问题。通过允许使用不定邻近项而非传统的半正定要求，该方法在步长范围 $ (0, (1+\sqrt{5})/2) $ 内实现了全局收敛性，并改善了迭代复杂度；数值结果表明，与标准 ADMM 相比，迭代次数最多可减少 70%。

ABSTRACT

This paper presents a majorized alternating direction method of multipliers (ADMM) with indefinite proximal terms for solving linearly constrained $2$-block convex composite optimization problems with each block in the objective being the sum of a non-smooth convex function and a smooth convex function, i.e., $\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$. By choosing the indefinite proximal terms properly, we establish the global convergence and $O(1/k)$ ergodic iteration-complexity of the proposed method for the step-length $τ\in (0, (1+\sqrt{5})/2)$. The computational benefit of using indefinite proximal terms within the ADMM framework instead of the current requirement of positive semidefinite ones is also demonstrated numerically. This opens up a new way to improve the practical performance of the ADMM and related methods.

研究动机与目标

• 为解决标准 ADMM 要求半正定邻近项所带来的局限性，该局限可能阻碍收敛性和效率。
• 开发一种允许使用不定邻近项的收敛 ADMM 变体，以提升实际性能。
• 在更宽松的条件下，建立全局收敛性以及非遍历/遍历迭代复杂度界。
• 通过数值实验表明，不定邻近项在实际中显著减少了迭代次数。
• 将 ADMM 的理论与实际应用范围扩展至传统半正定正则化之外。

提出的方法

• 提出一种主导型 ADMM 框架，其中在子问题中添加不定邻近项以最小化增广拉格朗日函数。
• 利用主导法构造目标函数光滑部分的凸上界，从而实现子问题的高效求解。
• 采用形式为 $ S = \rho_3 I - \widehat{\Sigma}_f - \sigma AA^* $ 的不定邻近项，其中 $ \rho_3 $ 的选择确保子问题海森矩阵具有足够的正定性。
• 当残差超过阈值时启用重启策略，动态增加邻近参数 $ \gamma_3 $ 以维持收敛性。
• 基于新条件 $ \widehat{\Sigma}_f + S + \eta \sigma AA^* \succ 0 $ 构建新颖的收敛性分析，该条件允许 $ S $ 为不定形式。
• 推导出在 $ \tau \in (0, (1+\sqrt{5})/2) $ 范围内，非遍历与遍历两种意义下的迭代复杂度界，优于经典 ADMM。

实验结果

研究问题

• RQ1 在凸复合问题中，是否可以使用不定邻近项而不牺牲 ADMM 的收敛性？
• RQ2 对不定邻近项需满足何种条件，才能保证全局收敛性与迭代复杂度界？
• RQ3 在实际中，使用不定邻近项的 ADMM 与标准 sPADMM 相比性能如何？
• RQ4 使用不定项是否能减少达到给定精度所需的迭代次数？
• RQ5 在 ADMM 中用不定项替代半正定邻近项，其理论与实际影响是什么？

主要发现

• 所提出的带有不定邻近项的主导型 iPADMM 在 $ \tau \in (0, (1+\sqrt{5})/2) $ 范围内实现了全局收敛，扩展了经典 ADMM 的收敛范围。
• 数值实验表明，iPADMM 在各种问题规模下相比标准 sPADMM 迭代次数减少了 50%–70%。
• 对于 $ 8000 \times 16000 $ 的问题，当 $ \tau = 1.618 $ 时，iPADMM 仅需 sPADMM 迭代次数的 57.7%；当 $ \tau = 1 $ 时，仅需 53.1%。
• 该方法对参数选择具有鲁棒性，每问题实例最多触发一次重启，确保重启次数有限。
• 使用不定邻近项可加快子问题求解速度并改善条件性，尤其在大规模问题中表现更优。
• 理论分析证实，在新的不定邻近框架下，该方法仍能保持非遍历与遍历的迭代复杂度界。