[论文解读] ADMM Penalty Parameter Selection by Residual Balancing

Brendt Wohlberg|arXiv (Cornell University)|Apr 20, 2017

Sparse and Compressive Sensing Techniques参考文献 18被引用 52

一句话总结

本文分析了 ADMM 的自适应惩罚参数方案，揭示了一个流行的残差平衡启发式中的 flaw，并提出通过相对残差和缩放考虑来减轻这一问题的做法。

ABSTRACT

Appropriate selection of the penalty parameter is crucial to obtaining good performance from the Alternating Direction Method of Multipliers (ADMM). While analytic results for optimal selection of this parameter are very limited, there is a heuristic method that appears to be relatively successful in a number of different problems. The contribution of this paper is to demonstrate that their is a potentially serious flaw in this heuristic approach, and to propose a modification that at least partially addresses it.

研究动机与目标

• 评估现有适用于 ADMM 的自适应惩罚参数规则的有效性。
• 识别影响惩罚更新的尺度相关问题。
• 提出改进以提高惩罚自适应在不同问题尺度下的鲁棒性。
• 用 Basis Pursuit DeNoising (BPDN) 与 CBPDN 示例来说明概念。

提出的方法

• 回顾 ADMM 的公式与基于残差的收敛度量。
• 分析在问题变换下 ADMM 的缩放性质。
• 检查 He 等人的残差平衡更新规则及其局限性。
• 提出使用相对残差(r_rel 和 s_rel)的尺度不变更新。
• 讨论自适应乘子策略及潜在改进（tau 调整、通过 xi 的局部缩放）。
• 将概念应用于 BPDN 和 CBPDN 以说明行为。

实验结果

研究问题

• RQ1 标准的残差平衡自适应规则是否能在缩放的 problem 实例中可靠地推动收敛？
• RQ2 问题缩放和残差定义如何影响自适应惩罚更新的有效性与不变性？
• RQ3 是否可以在不牺牲收敛性保证的前提下将残差平衡重新表述为尺度不变的？
• RQ4 哪些实际修改（如相对残差、自适应 tau、缩放更新）能在稀疏表示问题中提高鲁棒性？

主要发现

• 本文揭示了 ADMM 惩罚参数更新常见的残差平衡启发式中潜在的严重 flaw。
• 它表明标准更新中使用的残差在问题缩放下并不一致缩放，可能在对问题进行缩放时降低性能。
• 提出的修改使用相对残差以实现惩罚更新的尺度不变性，解决所识别的问题。
• 收敛框架支持在调整的停止准则下使用相对残差，同时保持收敛性保证。
• 讨论包括自适应乘子策略与实际注意事项（如更新频率、tau）以平衡计算成本与收敛速度。
• 示例包括 Basis Pursuit DeNoising 与 Convolutional BPDN，以突出迭代次数与残差演变的影响。