[论文解读] Alternating direction method of multipliers with variable step sizes

Sören Bartels, Marijo Milicevic|arXiv (Cornell University)|Apr 20, 2017

Antenna Design and Optimization参考文献 35被引用 4

一句话总结

该论文提出了一种变步长交替方向乘乘法（Variable-ADMM），通过基于残差单调性的自适应调整步长来提升收敛性能。在数值实验中，该方法相较于固定步长或优化步长的变体，实现了更快的收敛速度和更少的迭代次数，尤其在PDE约束问题和成像问题中表现突出。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a flexible method to solve a large class of convex minimization problems. Particular features are its unconditional convergence with respect to the involved step size and its direct applicability. This article deals with the ADMM with variable step sizes and devises an adjustment rule for the step size relying on the monotonicity of the residual and discusses proper stopping criteria. The numerical experiments show significant improvements over established variants of the ADMM.

研究动机与目标

• 解决ADMM在凸最小化问题中对步长选择的敏感性问题。
• 开发一种自适应步长规则，以在不依赖问题常数先验知识的情况下提升收敛性能。
• 通过在迭代过程中监控残差单调性，确保收敛性和鲁棒性。
• 基于残差控制提供有效的停止准则，以保证解的精度。
• 在数值基准测试中，显著优于固定步长和优化步长的ADMM变体。

提出的方法

• 提出一种自适应步长规则，当残差单调减少时增加或减少τ。
• 使用残差范数 ‖Bu^j − p^j‖_Y 作为步长调整的监控指标，以保持收敛进展。
• 实施一种停止准则，要求 R_j ≤ ε_stop / C_0，以同时控制原始和对偶残差。
• 将该方法应用于形式为 inf_u F(Bu) + G(u) 的凸最小化问题，通过引入辅助变量 p = Bu 重新表述。
• 使用增广拉格朗日函数 ℒ_τ(u,p;λ) = F(p) + G(u) + (λ, Bu − p)_Y + (τ/2)‖Bu − p‖_Y^2 进行ADMM更新。
• 在每一步迭代中交替对 u 和 p 进行最小化，随后更新对偶变量 λ，且 τ 在每次迭代中可变。

实验结果

研究问题

• RQ1 自适应步长规则是否能在不依赖强凸性或利普希茨常数知识的前提下，提升ADMM的收敛速率？
• RQ2 残差单调性如何指导ADMM中步长的调整以确保收敛？
• RQ3 与固定或优化步长相比，变步长对迭代次数和解精度有何影响？
• RQ4 能否推导出一种有效的停止准则，以同时有效控制原始和对偶残差？
• RQ5 在实际的PDE约束问题和成像问题中，Variable-ADMM是否优于已有的ADMM变体？

主要发现

• 在所有测试问题中，Variable-ADMM 的迭代次数显著低于固定步长和优化步长的ADMM变体。
• 对于 τ = h^{-2} 的 p-Laplace 问题，Variable-ADMM 所需的迭代次数少于标准和优化步长的ADMM。
• 步长的重新初始化对总迭代次数影响极小，表明对初始选择具有鲁棒性。
• 该方法通过根据残差行为动态调整 τ，保持了收敛性并提升了性能。
• 停止准则 R_j ≤ ε_stop / C_0 有效控制了原始和对偶残差，确保了解的精度。
• 数值实验确认，实践中变步长相比固定或优化步长能实现更快的收敛。