[论文解读] An Empirical Study of ADMM for Nonconvex Problems

Zheng Xu, Soham De+3 more|arXiv (Cornell University)|Dec 10, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用 24

一句话总结

本文通过实证方法评估了ADMM在非凸优化问题中的性能，包括ℓ₀-正则化回归、图像去噪、相位恢复和特征向量计算。结果表明，尽管存在理论限制，ADMM在实践中通常能够收敛，且自适应惩罚策略相比固定惩罚显著提升了收敛速度和解的质量。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a common optimization tool for solving constrained and non-differentiable problems. We provide an empirical study of the practical performance of ADMM on several nonconvex applications, including l0 regularized linear regression, l0 regularized image denoising, phase retrieval, and eigenvector computation. Our experiments suggest that ADMM performs well on a broad class of non-convex problems. Moreover, recently proposed adaptive ADMM methods, which automatically tune penalty parameters as the method runs, can improve algorithm efficiency and solution quality compared to ADMM with a non-tuned penalty.

研究动机与目标

• 研究在理论收敛性未被保证的非凸优化问题中，ADMM的实际收敛性和性能表现。
• 评估惩罚参数调优对非凸设置下收敛速度和解质量的影响。
• 在多种非凸应用场景中，对比标准ADMM与自适应ADMM变体（如残差平衡法和谱自适应ADMM）的性能。
• 确定在非凸问题中，子问题更新顺序是否影响ADMM的收敛性和解的质量。

提出的方法

• 通过将目标函数分解为光滑项与非光滑项，并在满足线性等式约束下对变量u和v交替进行最小化，将ADMM应用于非凸问题。
• 算法使用增广拉格朗日函数对主变量u和v以及对偶变量λ进行更新，惩罚参数τk用于控制约束违反程度。
• 采用自适应惩罚策略——残差平衡法与谱（Barzilai-Borwein）规则——在迭代过程中动态调整τk，以平衡原始残差与对偶残差。
• 在ℓ₀正则化中，利用软/硬阈值化的闭式解法，并结合快速傅里叶变换以实现高效计算。
• 通过原始残差rk = b - Auₖ - Bvₖ与对偶残差dk = τk AᵀB(vₖ - vₖ₋₁)监控收敛性，停止准则基于相对容差。
• 在合成数据集和真实数据集上，针对四类非凸问题（ℓ₀-正则化回归、图像去噪、相位恢复和特征向量计算）进行了实验。

实验结果

研究问题

• RQ1 尽管缺乏理论保证，ADMM在ℓ₀-正则化回归和相位恢复等非凸问题中是否在实践中能够收敛？
• RQ2 更新光滑与非光滑子问题的顺序是否会影响收敛性或解的质量？
• RQ3 惩罚参数τk的选择如何影响收敛速度和最终解的质量？
• RQ4 自适应惩罚策略（如残差平衡法与谱ADMM）是否能优于使用固定惩罚的标准ADMM？
• RQ5 是否存在一个可预测的关系，使得能快速收敛的惩罚参数值也对应最佳解质量？

主要发现

• 尽管在标准假设下理论收敛性未被保证，ADMM在实践中通常能收敛于非凸问题。
• 标准ADMM对惩罚参数调优极为敏感；选择不当会导致收敛缓慢或振荡。
• 自适应惩罚方法（如AADMM与残差平衡法）在所有测试问题中均显著提升了收敛的可靠性与速度。
• 在大多数问题中，自适应ADMM获得的代价函数值更优，或比固定惩罚的标准ADMM获得更高的PSNR。
• 在某些情况下（如ℓ₀回归中的Leukemia数据集等困难问题），经过精细调优的常数惩罚反而优于自适应方法。
• 无法建立快速收敛的惩罚值与最优解质量惩罚值之间的可预测关系。