[论文解读] Adaptive ADMM with Spectral Penalty Parameter Selection

Zheng Xu, Mário A. T. Figueiredo+1 more|arXiv (Cornell University)|May 24, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用 42

一句话总结

该论文提出自适应ADMM（AADMM），一种自动方法，通过受Barzilai-Borwein方法启发的谱步长选择规则，动态调整ADMM中的惩罚参数。通过将ADMM重 formulation 为对偶问题上的Douglas-Rachford分裂，AADMM实现了快速收敛，并对初始参数选择和问题缩放具有鲁棒性，在多种优化问题中优于原始ADMM、Fast ADMM和残差平衡法。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a versatile tool for solving a wide range of constrained optimization problems, with differentiable or non-differentiable objective functions. Unfortunately, its performance is highly sensitive to a penalty parameter, which makes ADMM often unreliable and hard to automate for a non-expert user. We tackle this weakness of ADMM by proposing a method to adaptively tune the penalty parameters to achieve fast convergence. The resulting adaptive ADMM (AADMM) algorithm, inspired by the successful Barzilai-Borwein spectral method for gradient descent, yields fast convergence and relative insensitivity to the initial stepsize and problem scaling.

研究动机与目标

• 解决ADMM中手动调节惩罚参数这一关键挑战，该挑战限制了非专家用户的使用。
• 克服ADMM对初始惩罚值和问题缩放的敏感性，这些因素可能严重损害收敛性能。
• 开发一种自动化的、自适应的惩罚参数选择机制，以提升收敛速度和可靠性。
• 通过基于相关性的保护机制，确保对不良初始选择和任意问题缩放的鲁棒性。
• 通过对偶问题分析，将原本用于梯度下降的谱步长方法扩展至ADMM的约束性、多变量设置。

提出的方法

• 将ADMM重 formulation 为对偶问题上的Douglas-Rachford分裂，从而可应用谱步长规则。
• 基于Barzilai-Borwein方法推导出一种基于对偶变量差值估计曲率的谱惩罚参数更新规则。
• 引入一种保护机制，通过检查连续对偶步之间的相关性来避免不可靠的更新。
• 使用相关性阈值 $\epsilon^{\text{cor}}$ 决定是否接受或拒绝新的惩罚值，以确保稳定性和收敛性。
• 将来自对偶问题的谱步长规则转换回原始ADMM迭代的惩罚参数更新规则。
• 将该方法应用于基追踪、Lasso和半定规划等多种问题，证明其广泛适用性。

实验结果

研究问题

• RQ1 能否将平滑优化中已有的谱步长选择规则适配到ADMM的约束性、多变量设置中？
• RQ2 如何自动调节ADMM的惩罚参数，以实现无需人工干预的快速收敛？
• RQ3 所提出的自适应方法是否对初始惩罚参数选择和问题缩放保持鲁棒性？
• RQ4 基于相关性的保护机制能否防止自适应ADMM中不稳定或发散的惩罚参数更新？
• RQ5 与现有ADMM变体（如原始ADMM、Fast ADMM和残差平衡法）相比，AADMM在收敛速度和可靠性方面表现如何？

主要发现

• 在23个测试数据集中，AADMM在23个中均优于原始ADMM和Fast ADMM，原始ADMM在13个案例中出现收敛失败。
• 除共识逻辑回归中的Rcv1问题外，AADMM在所有测试案例中均比残差平衡法收敛更快。
• AADMM对初始惩罚参数 $\tau_0$ 极其不敏感，在 $\tau_0$ 的广泛取值范围内均表现出稳定性能。
• AADMM在问题缩放下保持鲁棒性，对测量向量缩放因子 $s$ 的变化几乎不敏感。
• 保护阈值 $\epsilon^{\text{cor}}$ 对性能影响极小，在 $[0.1, 0.4]$ 范围内均能保持稳定收敛。
• 在合成基追踪问题中，AADMM能快速适应惩罚参数，并实现最小残差振荡的最快收敛。