[論文レビュー] Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems

Fenghui Wang, Zongben Xu+1 more|arXiv (Cornell University)|Oct 31, 2014

Sparse and Compressive Sensing Techniques参考文献 41被引用数 59

ひとこと要約

本稿は、非凸な合成最適化問題におけるBregman交替方向乗数法（BADMM）の収束性を確立する。弱い仮定、特に部分解析的関数性とKurdyka-Łojasiewicz（K-L）不等式のもとで、目的関数が非凸であっても、Bregman距離を用いることでアルゴリズムの性能と収束安定性を向上させることで、増強ラグランジアンの停留点にBADMMが収束することを示す。

ABSTRACT

The alternating direction method with multipliers (ADMM) has been one of most powerful and successful methods for solving various convex or nonconvex composite problems that arise in the fields of image & signal processing and machine learning. In convex settings, numerous convergence results have been established for ADMM as well as its varieties. However, due to the absence of convexity, the convergence analysis of nonconvex ADMM is generally very difficult. In this paper we study the Bregman modification of ADMM (BADMM), which includes the conventional ADMM as a special case and often leads to an improvement of the performance of the algorithm. Under certain assumptions, we prove that the iterative sequence generated by BADMM converges to a stationary point of the associated augmented Lagrangian function. The obtained results underline the feasibility of ADMM in applications under nonconvex settings.

研究の動機と目的

• 非凸設定におけるADMMの収束保証の欠如に対処し、従来の凸解析手法が適用できない状況を想定する。
• Bregman距離の修正を用いて、ADMMの収束理論を非凸な合成問題へ拡張する（BADMM）。
• 非凸性が存在する中でもBADMMが停留点に収束するための条件を確立する。
• 非凸正則化（例：ℓ₁/₂正則化）が凸正則化（例：ℓ₁正則化）よりもスパース性を促進し、収束を加速するという優位性を実証する。
• 非凸最適化問題へのBADMMの適用における理論的基盤を提供する。具体的には、スパース信号回復や行列補完問題などの実世界の応用を想定する。

提案手法

• 標準ADMMにBregman距離項を追加することで、収束性と性能を向上させるBADMMを提案する。
• 制約条件Ax = Byを強制するために、ペナルティパラメータαと双対変数pを用いた増強ラグランジュ関数を用いる。
• y-およびx-部分問題にそれぞれΔψ(y, yᵏ)およびΔϕ(x, xᵏ)というBregman距離を導入し、更新を正則化する。
• 収束を保証するために、補助関数の十分な降下性を示すために、Kurdyka-Łojasiewicz（K-L）不等式と部分解析的関数の仮定を用いる。
• 収束の順序と変数更新順序の依存性を分析し、xとyの交互更新が降下関係を導出するために不可欠であることを示す。
• ℓ₁/₂準ノルム正則化を用いた非凸スパース回復問題にこの手法を適用し、ℓ₁に基づく凸モデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 部分解析的関数性とK-L不等式の仮定のもとで、BADMMは非凸合成問題に対して停留点に収束するか？
• RQ2 Bregman距離の導入が、非凸設定におけるADMMの収束行動と性能にどのように影響を与えるか？
• RQ3 目的関数に必要な条件（例：部分解析的関数性、K-L不等式）は何か？ これらがBADMMの収束を保証するのに十分か？
• RQ4 実際の応用において、非凸正則化（例：ℓ₁/₂）が凸正則化（例：ℓ₁）よりも収束が速く、スパース性が優れているか？
• RQ5 変数更新の順序（xをyより先に更新するか、逆か）は、BADMMの収束証明および安定性にどのように影響するか？

主な発見

• 部分解析的関数性とKurdyka-Łojasiewicz（K-L）不等式の仮定のもとで、BADMMは増強ラグランジュ関数の停留点に収束する。
• 収束は増強ラグランジュ関数自体ではなく、補助関数の十分な降下性によって確立される。
• 数値実験では、収束が速く、スパース性が優れていることが確認され、特にℓ₁/₂正則化（HADMM）を用いた場合にℓ₁正則化（SADMM）よりも顕著に優れている。
• 数値実験では、xᵏおよびyᵏのシーケンスにおける平均二乗誤差（MSE）が反復回数とともに減少しており、真の解に収束していることを確認している。
• HADMMはSADMMに比べて著しく収束が速く、特にyᵏシーケンスで顕著な優位性を示しており、スパース回復における非凸正則化の利点を裏付けている。
• K-L不等式と部分解析的関数性の条件が満たされていれば、目的関数が非凸であっても収束は頑健である。