[論文レビュー] ADMM for Multiaffine Constrained Optimization

Wenbo Gao, Donald Goldfarb+1 more|arXiv (Cornell University)|Feb 26, 2018

Sparse and Compressive Sensing Techniques参考文献 56被引用数 5

ひとこと要約

本稿は、やや弱い仮定の下で、多アフィン制約を伴う最適化問題に対する交替方向乗数法（ADMM）のグローバル収束を確立する。罰則パrameter ρ が十分に大きいとき、ADMMは制約付き停留点の集合に収束し、Kurdyka-Łojasiewicz（K-Ł）性質が成り立つ場合には、非凸的・非滑らかで複数の変数ブロックを含む目的関数に対しても、単一の停留点に収束することが示された。

ABSTRACT

We expand the scope of the alternating direction method of multipliers (ADMM). Specifically, we show that ADMM, when employed to solve problems with multiaffine constraints that satisfy certain verifiable assumptions, converges to the set of constrained stationary points if the penalty parameter in the augmented Lagrangian is sufficiently large. When the Kurdyka-Łojasiewicz (K-Ł) property holds, this is strengthened to convergence to a single constrained stationary point. Our analysis applies under assumptions that we have endeavored to make as weak as possible. It applies to problems that involve nonconvex and/or nonsmooth objective terms, in addition to the multiaffine constraints that can involve multiple (three or more) blocks of variables. To illustrate the applicability of our results, we describe examples including nonnegative matrix factorization, sparse learning, risk parity portfolio selection, nonconvex formulations of convex problems, and neural network training. In each case, our ADMM approach encounters only subproblems that have closed-form solutions.

研究の動機と目的

• 線形制約に限らない最適化問題へ、ADMM収束理論を多アフィン制約へ拡張すること。
• 非凸的・非滑らかな目的関数に対しても、検証可能な仮定の下でADMMが制約付き停留点にグローバル収束することを確立すること。
• 非負値行列分解やリスクパリティ・ポートフォリオ選択といった重要な応用において、ADMMの部分問題が閉形式解を有することを示すこと。
• 特に3つ以上の変数ブロックを含む問題に対して、先行研究よりも弱い条件下で収束保証を提供すること。
• 多アフィン制約に適用可能なフレームワークを導入することで、既存のADMM収束結果を統一的かつ一般化すること。

提案手法

• 他の変数を固定したとき、各変数ブロックに関してアフィンとなる制約（多アフィン制約）を伴う問題にADMMを適用するための、新しい収束解析フレームワークを提案する。
• 罰則パrameter ρ を用いた拡張ラグランジュ関数を用い、ブロック単位の最小化と双対勾配上昇の反復手順によって生成される反復列を解析する。
• Kurdyka-Łojasiewicz（K-Ł）不等式を用いて、追加の正則性条件下で、収束先が単一の停留点に限定されることを強化する。
• 制約構造と変数グループ化に関する新規な技術的補題を用いて、反復列の有界性と部分勾配のゼロへの収束を確立する。
• 解析の分離を可能にするための変数分割戦略を導入し、多アフィン設定への既存の収束ツールの適用を可能にする。
• 変数の有界性や重要な構成要素における制約ヤコビアンの卤型性を含む、検証可能で可能な限り弱い仮定に依拠する。

実験結果

リサーチクエスチョン

• RQ1 多アフィン制約を伴う最適化問題において、ADMMがグローバルに収束する条件は何か？
• RQ2 Kurdyka-Łojasiewicz（K-Ł）性質が成り立つ場合、非凸的設定下でもADMMは単一の停留点に収束するか？
• RQ3 非負値行列分解やリスクパリティ・ポートフォリオ選択といった重要な応用において、ADMMの部分問題は閉形式解を有するか？
• RQ4 罰則パrameter ρ は収束にどのように影響し、収束に必要な最小値は何か？
• RQ5 3つ以上の変数ブロックと非凸的目的関数を含む問題へ、収束理論を拡張できるか？

主な発見

• 罰則パrameter ρ が十分に大きく、多アフィン制約がやや弱い検証可能な仮定を満たすとき、ADMMは制約付き停留点の集合にグローバルに収束する。
• Kurdyka-Łojasiewicz（K-Ł）性質が成り立つ場合、ADMMは集合ではなく単一の制約付き停留点に収束する。
• 非凸的・非滑らかな目的関数および3つ以上の変数ブロックを含む問題にも適用可能である。
• 非負値行列分解、スパース学習、ニューラルネットワーク学習といった重要な応用において、ADMMのすべての部分問題が閉形式解を有する。
• 特に強い凸性やブロック構造に関する仮定に関して、先行研究よりも著しく弱い仮定の下で収束結果を確立した。
• このフレームワークは、既存のADMM収束保証を統一的かつ一般化し、より広範な多アフィン制約問題のクラスへと拡張した。