[論文レビュー] Global Convergence of ADMM in Nonconvex Nonsmooth Optimization

Yu Wang, Wotao Yin+1 more|arXiv (Cornell University)|Nov 18, 2015

Sparse and Compressive Sensing Techniques参考文献 71被引用数 201

ひとこと要約

本稿は、目的関数と制約行列にやや弱い条件下で、非凸かつ非滑らかで複数ブロックを含む最適化問題に対する増大ラグランジュ乗数法（ADMM）のグローバル収束を確立する。非凸関数の広いクラス—$β$-準ノルム、スチャッテン-$q$ノルム、非凸スパarsity誘導ペナルティ—に対して収束を証明し、罰則パラメータが有界であっても増大ラグランジュ法（ALM）が失敗する状況でADMMが収束することを示している。

ABSTRACT

In this paper, we analyze the convergence of the alternating direction method of multipliers (ADMM) for minimizing a nonconvex and possibly nonsmooth objective function, $ϕ(x_0,\ldots,x_p,y)$, subject to coupled linear equality constraints. Our ADMM updates each of the primal variables $x_0,\ldots,x_p,y$, followed by updating the dual variable. We separate the variable $y$ from $x_i$'s as it has a special role in our analysis. The developed convergence guarantee covers a variety of nonconvex functions such as piecewise linear functions, $\ell_q$ quasi-norm, Schatten-$q$ quasi-norm ($0

研究の動機と目的

• 非凸的かつ非滑らかで複数変数ブロックを含む最適化問題におけるADMMのグローバル収束保証を確立すること。
• 標準的な収束条件が成立しない非凸問題におけるADMMの挙動に関する理論的理解の長年の空白を埋めること。
• ADMMの収束を、$β$-準ノルム、スチャッテン-$q$ノルム、MCP や SCAD などの非凸ペナルティ関数を含む広範な非凸関数クラスにまで拡張すること。
• ADMMが収束する一方で増大ラグランジュ法（ALM）が発散する状況を示し、非凸設定下でのADMMの優れたロバスト性を示すこと。
• 3つ以上のブロックを含むモノトロピック・プログラムにおけるADMM収束の十分条件を提供すること。これは、提案モデルの特別なケースである。

提案手法

• 線形等式制約のもとで、可能であれば非凸的かつ非滑らかな目的関数を最小化する一般化ADMMフレームワークを提案し、変数 $y$ に対して特別な処理を施す。
• ADMMの部分問題の基盤として増大ラグランジュ関数 ${\mathcal{L}}_{\beta}$ を用い、変数 $x_0, \dots, x_p, y$ および双対変数 $w$ を順次、ブロック単位で更新する。
• リャプノフ型解析を適用し、増大ラグランジュ関数の単調減少性と反復点の有界性を示す。これにはリプシッツ連続性と行列の性質を活用する。
• 4つの主要条件（P1–P4）の検証により収束を確立する：増大ラグランジュ関数の単調減少、下界の存在、反復点の有界性。
• 罰則パラメータ $\beta$ が有界であってもADMMは収束するがALMは発散するという、ADMMの非凸設定下でのロバスト性を示す、新規な反例を提示する。
• 非凸制約（例えば、コンパクト多様体（スタイーベル、グラスマン）や線形補完性制約）を、目的関数に指示関数を埋め込むことで扱えるように分析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 非凸的かつ非滑らかな最適化問題に複数ブロックを含む場合、ADMMがグローバルに収束する条件は何か？
• RQ2 増大ラグランジュ法（ALM）が発散する状況でも、罰則パラメータが有界であってもADMMは収束するのか？
• RQ3 どのような非凸関数と制約がグローバルADMM収束と整合するのか？
• RQ4 ADMM更新スキームにおける$y$変数の特別な処理が収束保証に与える影響は何か？
• RQ5 3つ以上のブロックを含むモノトロピック・プログラムにおけるADMM収束の十分条件は何か？

主な発見

• ADMMは、$\ell_q$準ノルム（$0 < q < 1$）、スチャッテン-$q$準ノルム、MCP、SCADペナルティなど、広範な非凸的・非滑らかな関数クラスにおいてグローバルに収束する。
• 反例により、罰則パラメータ $\beta$ が有界であってもALMが発散する状況でADMMが収束することが示され、非凸設定下でのADMMの優れたロバスト性が裏付けられた。
• 収束は、目的関数が連続的かつ下半連続的であり、制約行列が特定の正則性条件（例えば、有界な条件数）を満たすというやや弱い仮定のもとで保証される。
• 反復点 $\{x^k, y^k, w^k\}$ は有界であり、増大ラグランジュ関数は単調に減少するため、臨界点に収束することが保証される。
• 球面、スタイーベル、グラスマンなどのコンパクト多様体や線形補完性制約といった非凸制約も、目的関数に指示関数を組み込むことで分析に組み込むことができる。
• $x_0$-ブロックに関しては、下半連続性のみが要求されるため、スパース最適化、行列分解、統計的学習の多くの実用的問題に適用可能である。