[論文レビュー] A convergence proof of the split Bregman method for regularized least-squares problems

Hung Nien, Jeffrey A. Fessler|arXiv (Cornell University)|Feb 18, 2014

Sparse and Compressive Sensing TechniquesEngineering被引用数 17

ひとこと要約

本稿は、不正確な更新を伴う正則化最小二乗問題に対する分割ブレグマン（SB）法の収束性を証明し、データ適合項が二次関数である場合、SB法が収束する交替方向乗数法（ADMM）と同等であることを示している。主な貢献は、列フルランクや正確な部分問題解を仮定しない実用的条件下でも単純な収束証明を提示したことであり、最適化されたパrameterを用いたADMMはSB法よりも収束速度が速くなることも示している。

ABSTRACT

The split Bregman (SB) method [T. Goldstein and S. Osher, SIAM J. Imaging Sci., 2 (2009), pp. 323-43] is a fast splitting-based algorithm that solves image reconstruction problems with general l1, e.g., total-variation (TV) and compressed sensing (CS), regularizations by introducing a single variable split to decouple the data-fitting term and the regularization term, yielding simple subproblems that are separable (or partially separable) and easy to minimize. Several convergence proofs have been proposed, and these proofs either impose a "full column rank" assumption to the split or assume exact updates in all subproblems. However, these assumptions are impractical in many applications such as the X-ray computed tomography (CT) image reconstructions, where the inner least-squares problem usually cannot be solved efficiently due to the highly shift-variant Hessian. In this paper, we show that when the data-fitting term is quadratic, the SB method is a convergent alternating direction method of multipliers (ADMM), and a straightforward convergence proof with inexact updates is given using [J. Eckstein and D. P. Bertsekas, Mathematical Programming, 55 (1992), pp. 293-318, Theorem 8]. Furthermore, since the SB method is just a special case of an ADMM algorithm, it seems likely that the ADMM algorithm will be faster than the SB method if the augmented Largangian (AL) penalty parameters are selected appropriately. To have a concrete example, we conduct a convergence rate analysis of the ADMM algorithm using two splits for image restoration problems with quadratic data-fitting term and regularization term. According to our analysis, we can show that the two-split ADMM algorithm can be faster than the SB method if the AL penalty parameter of the SB method is suboptimal. Numerical experiments were conducted to verify our analysis.

研究の動機と目的

• 列フルランクでなく、正確な更新が満たされない実用的条件下でも分割ブレグマン法の収束証明を確立すること。
• データ適合項が二次関数である場合、分割ブレグマン法が交替方向乗数法（ADMM）と同等であることを示すこと。
• 2分割変数を用いたADMMの収束速度を分析し、SB法と比較すること。
• ADMMとSB法のパラメータチューニングに関する洞察を提供し、ADMMがSB法よりも速く収束する条件を特定すること。
• PCGに巡回行列プリコンディショナを適用した不正確なソルバを用いた画像復元問題における数値実験を通じて、理論的分析の妥当性を検証すること。

提案手法

• データ適合項が二次関数である正則化最小二乗問題に対して、分割ブレグマン法が2分割ADMMアルゴリズムと同等であることを証明すること。
• 文献[8]の定理8を用いて、ADMM定式化の収束性を確立し、これにより不正確な更新のもとでもSB法の収束が保証されることを示すこと。
• ADMMの部分問題を定式化する：x更新は増強ラグランジュ項を含む最小二乗問題を解き、v更新は正則化項のproximal作用素を解く。
• スペクトル解析を用いて2分割ADMMアルゴリズムの収束速度を分析し、SB法を上回る条件を導出すること。
• 画像復元において、PCGに巡回行列プリコンディショナを適用して不正確なx更新を実装し、異なるペナルティパラメータにおける収束速度を比較する数値実験を実施すること。
• マスキングを施した差分行列と二次的粗さ正則化項を用いてエッジ保存型正則化をモデル化し、理論的分析に基づいたパラメータチューニングを実施すること。

実験結果

リサーチクエスチョン

• RQ1 システム行列が列フルランクでなく、部分問題が不正確に解かれる場合でも、分割ブレグマン法は収束するか？
• RQ2 データ適合項が二次関数である場合、分割ブレグマン法はADMMアルゴリズムと同等であるか？また、この同等性はより単純な収束証明を可能にするか？
• RQ3 2分割変数を用いたADMMは、どのような条件下で分割ブレグマン法よりも速く収束するか？
• RQ4 増強ラグランジュペナルティパラメータの選択が、SB法およびADMMアルゴリズムの収束速度にどのように影響するか？
• RQ5 理論的収束速度解析は、非FFTソルバを用いた画像再構成における不正確ADMMおよびSBソルバの性能を予測できるか？

主な発見

• データ適合項が二次関数である場合、分割ブレグマン法は収束するADMMアルゴリズムと同等であり、不正確な更新が許容され、列フルランクの仮定も不要となる。
• 収束証明は一般の凸正則化項に対して成立し、x更新部分問題の不正確解を許容できる。これは、並列MRIやCT画像再構成などの応用において極めて重要である。
• 増強ラグランジュペナルティパラメータが最適でない場合（特に過小に見積もられた場合）、2分割ADMMは分割ブレグマン法よりも速く収束する。
• 数値実験では、ペナルティパラメータηが過小に見積もられた場合（例：η = α/20）に、ADMMはSB法と同等の漸近的収束速度であっても、著しく速く収束することが確認された。
• ρ = η/α = 1/20のADMMでは、大きなステップサイズのため強力なオーバーシュートと振動が生じ、収束がパラメータチューニングに極めて敏感であることが示された。
• 最適なパラメータ選択（例：η = α）により、2分割ADMMは最大の収束速度を達成し、リップルは発生せず、有効なプリコンディショニングのおかげで不正確なx更新による劣化はわずかに抑えられる。