[論文レビュー] Convergence for nonconvex ADMM, with applications to CT imaging

Rina Foygel Barber, Emil Y. Sidky|PubMed|Jun 12, 2020

Sparse and Compressive Sensing Techniques参考文献 35被引用数 5

ひとこと要約

本稿は、目的関数の滑らかさや微分可能性を仮定しない制限付き強い凸性（RSC）の仮定の下で、非凸ADMMアルゴリズムの収束保証を確立する。この手法により、データ適合項と正則化項の両方が非滑らかで非凸である状況下でも、画像診断画像単位（CT）における頑健な画像再構成が可能となり、理論的・実験的裏付けが得られている。

ABSTRACT

The alternating direction method of multipliers (ADMM) algorithm is a powerful and flexible tool for complex optimization problems of the form <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>m</mml:mi> <mml:mi>i</mml:mi> <mml:mi>n</mml:mi> <mml:mo>{</mml:mo> <mml:mi>f</mml:mi> <mml:mo>(</mml:mo> <mml:mi>x</mml:mi> <mml:mo>)</mml:mo> <mml:mo>+</mml:mo> <mml:mi>g</mml:mi> <mml:mo>(</mml:mo> <mml:mi>y</mml:mi> <mml:mo>)</mml:mo> <mml:mspace></mml:mspace> <mml:mo>:</mml:mo> <mml:mspace></mml:mspace> <mml:mi>A</mml:mi> <mml:mi>x</mml:mi> <mml:mo>+</mml:mo> <mml:mi>B</mml:mi> <mml:mi>y</mml:mi> <mml:mo>=</mml:mo> <mml:mi>c</mml:mi> <mml:mo>}</mml:mo></mml:math> . ADMM exhibits robust empirical performance across a range of challenging settings including nonsmoothness and nonconvexity of the objective functions <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>f</mml:mi></mml:math> and <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>g</mml:mi></mml:math> , and provides a simple and natural approach to the inverse problem of image reconstruction for computed tomography (CT) imaging. From the theoretical point of view, existing results for convergence in the nonconvex setting generally assume smoothness in at least one of the component functions in the objective. In this work, our new theoretical results provide convergence guarantees under a restricted strong convexity assumption without requiring smoothness or differentiability, while still allowing differentiable terms to be treated approximately if needed. We validate these theoretical results empirically, with a simulated example where both <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>f</mml:mi></mml:math> and <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>g</mml:mi></mml:math> are nondifferentiable-and thus outside the scope of existing theory-as well as a simulated CT image reconstruction problem.

研究の動機と目的

• 現代の画像処理問題において一般的な非凸・非滑らか設定におけるADMMの理論的収束保証の欠如に応えること。
• 目的関数の滑らかさや微分可能性を要件としないADMMの収束フレームワークを構築し、既存理論を拡張すること。
• 非凸かつ非滑らかな成分を含む、シミュレートされた分位数回帰問題とCT画像再構成タスクにおいて理論的結果を実証的に検証すること。
• 非凸性と微分不可能性が一般的な医療画像診断分野の困難な逆問題（例：CT）へのADMMの信頼できる応用を可能にすること。

提案手法

• 目的関数の微分可能成分に対して線形近似を用いる線形化ADMMの変種を提案し、更新を容易に可能にする。
• 実行可能集合における制限付き強い凸性（RSC）条件を導入し、目的関数全体の滑らかさを要件としない収束を保証する。
• f(x) = f_c(x) + f_d(x)、g(y) = g_c(y) + g_d(y) の形に分解された問題に適用する。ここで、f_c と g_c は凸（非滑らかでも可）、f_d と g_d は2回微分可能（非凸でも可）。
• 線形制約 Ax + By = c を強制するために、正定値なペナルティ行列 Σ を用いた増強ラグランジュ関数を用いる。
• 反復的更新を採用：x_{t+1} = argmin_x L_Σ(x, y_t, u_t)，y_{t+1} = argmin_y L_Σ(x_{t+1}, y, u_t)，u_{t+1} = u_t + Σ(Ax_{t+1} + By_{t+1} - c)。
• 収束性を、グローバルではなく、各反復点におけるRSCの確認と近似一次最適性の数値的検証により検証する。

実験結果

リサーチクエスチョン

• RQ1 既存理論が失敗する非凸・非滑らか設定において、ADMMの収束を保証できるか？
• RQ2 制限付き強い凸性（RSC）条件が、目的関数の滑らかさを要件としないADMMの収束を保証するのに十分か？
• RQ3 データ適合項と正則化項の両方が非凸的かつ非滑らかである状況下でも、提案されたADMM変種がCT画像再構成を成功裏に実行できるか？
• RQ4 反復点の平均の収束が十分か、それとも反復点自体のより強い収束が確立できるか？
• RQ5 この理論的枠組みを大規模応用（例：CT画像診断）に向けた確率的ADMMに拡張可能か？

主な発見

• 制限付き強い凸性（RSC）の仮定の下で、f と g がともに非滑らかで非凸であっても、非凸ADMMの理論的収束が確立された。
• CT例においてRSC条件が実験的に検証され、すべての反復で比 α_t がゼロから離れていることが示され、アルゴリズムの経路に沿って仮定が成立していることが確認された。
• CTシミュレーションにおいて近似一次最適性が検証され、‖∇g(ỹ)‖₂ / ‖∇g(0)‖₂ = 0.000769 と高く、近似的最適解の質が優れていることが示された。
• f と g がともに微分不可能な状況下でも、アルゴリズムがシミュレートCT問題における画像再構成を成功裏に実行した。これは、従来の理論的保証の範囲外の設定である。
• 実験的結果から、反復点の平均は収束するが、より強い仮定がなければ個々の反復点 x_t と y_t 自体の収束は保証されないことが示された。
• 標準的な凸ADMM理論が適用できない高次元的・悪条件な逆問題（例：CT画像再構成）に対しても、本手法は頑健な性能を発揮した。