[论文解读] A convergence proof of the split Bregman method for regularized least-squares problems

Hung Nien, Jeffrey A. Fessler|arXiv (Cornell University)|Feb 18, 2014

Sparse and Compressive Sensing TechniquesEngineering被引用 17

一句话总结

本文证明了在更新不精确的情况下，带正则化最小二乘问题的分裂Bregman（SB）方法的收敛性，表明当数据拟合项为二次型时，其等价于一个收敛的交替方向乘子法（ADMM）。关键贡献在于在实际条件下（无需满列秩或精确求解子问题）给出了简洁的收敛性证明，同时表明采用优化参数的ADMM在收敛速度上可优于SB方法。

ABSTRACT

The split Bregman (SB) method [T. Goldstein and S. Osher, SIAM J. Imaging Sci., 2 (2009), pp. 323-43] is a fast splitting-based algorithm that solves image reconstruction problems with general l1, e.g., total-variation (TV) and compressed sensing (CS), regularizations by introducing a single variable split to decouple the data-fitting term and the regularization term, yielding simple subproblems that are separable (or partially separable) and easy to minimize. Several convergence proofs have been proposed, and these proofs either impose a "full column rank" assumption to the split or assume exact updates in all subproblems. However, these assumptions are impractical in many applications such as the X-ray computed tomography (CT) image reconstructions, where the inner least-squares problem usually cannot be solved efficiently due to the highly shift-variant Hessian. In this paper, we show that when the data-fitting term is quadratic, the SB method is a convergent alternating direction method of multipliers (ADMM), and a straightforward convergence proof with inexact updates is given using [J. Eckstein and D. P. Bertsekas, Mathematical Programming, 55 (1992), pp. 293-318, Theorem 8]. Furthermore, since the SB method is just a special case of an ADMM algorithm, it seems likely that the ADMM algorithm will be faster than the SB method if the augmented Largangian (AL) penalty parameters are selected appropriately. To have a concrete example, we conduct a convergence rate analysis of the ADMM algorithm using two splits for image restoration problems with quadratic data-fitting term and regularization term. According to our analysis, we can show that the two-split ADMM algorithm can be faster than the SB method if the AL penalty parameter of the SB method is suboptimal. Numerical experiments were conducted to verify our analysis.

研究动机与目标

• 在系统矩阵不具满列秩且子问题求解不精确的实际条件下，建立分裂Bregman方法的收敛性证明。
• 证明当数据拟合项为二次型时，分裂Bregman方法与一种交替方向乘子法（ADMM）等价。
• 分析具有两个分裂变量的ADMM算法的收敛速率，并与SB方法进行比较。
• 通过识别ADMM收敛快于SB方法的条件，为ADMM和SB的参数调优提供洞见。
• 通过使用不精确求解器的图像恢复问题的数值实验，验证理论分析。

提出的方法

• 证明分裂Bregman方法在带二次数据拟合项的正则化最小二乘问题中，等价于一种双分裂ADMM算法。
• 利用文献[8]中的定理8，建立ADMM公式的收敛性，从而在更新不精确时也保证SB方法的收敛性。
• 制定ADMM子问题：x更新通过求解带增广拉格朗日项的最小二乘问题，v更新通过求解正则项的近端算子。
• 使用谱分析方法分析双分裂ADMM算法的收敛速率，推导出其优于SB方法的条件。
• 在图像恢复中使用PCG配合循环预条件子实现x更新的不精确求解，通过比较不同惩罚参数下的收敛速度进行数值实验。
• 采用掩码有限差分矩阵和二次平滑惩罚项建模边缘保持正则化，参数调优基于理论分析。

实验结果

研究问题

• RQ1 当系统矩阵不具满列秩且子问题求解不精确时，能否证明分裂Bregman方法的收敛性？
• RQ2 在数据拟合项为二次型时，分裂Bregman方法是否等价于一种ADMM算法？该等价性是否能带来更简洁的收敛性证明？
• RQ3 在何种条件下，具有两个分裂变量的ADMM可比分裂Bregman方法收敛得更快？
• RQ4 增广拉格朗日惩罚参数的选择如何影响SB和ADMM算法的收敛速率？
• RQ5 理论收敛速率分析能否预测在非FFT求解器下，不精确ADMM和SB求解器在图像重建中的性能？

主要发现

• 当数据拟合项为二次型时，分裂Bregman方法等价于一个收敛的ADMM算法，从而可在更新不精确且无需满列秩的条件下实现收敛性证明。
• 该收敛性证明适用于一般凸正则项，并允许x更新子问题的不精确解，这对并行MR和CT成像等应用至关重要。
• 当SB方法的增广拉格朗日惩罚参数选择不当时（特别是低估时），具有两个分裂变量的ADMM可比分裂Bregman方法收敛得更快。
• 数值实验表明，当惩罚参数η被低估时（例如η = α/20），ADMM算法的收敛速度显著快于SB方法，尽管两者的渐近收敛率相近。
• 当ρ = η/α = 1/20时，ADMM算法表现出强烈的超调和振荡，凸显了收敛性对参数调优的敏感性。
• 在最优参数选择下（例如η = α），双分裂ADMM实现最快收敛，无振铃现象，且由于有效预处理，不精确x更新对收敛速率的影响仅轻微降低。