[論文レビュー] Linearized ADMM for Non-convex Non-smooth Optimization with Convergence Analysis

Qinghua Liu, Xinyue Shen+1 more|arXiv (Cornell University)|May 6, 2017

Sparse and Compressive Sensing Techniques参考文献 50被引用数 20

ひとこと要約

本稿では、非凸・非滑らか最適化問題に対する2ブロックおよびマルチブロック線形化ADMMを提案し、先行研究よりも弱い仮定の下で収束解析を導入する。部分問題を線形化し、近接項を活用することで、より広い非凸目的関数クラスに対して収束が保証され、反復点および目的関数値の収束が達成される。

ABSTRACT

Linearized alternating direction method of multipliers (ADMM) as an extension of ADMM has been widely used to solve linearly constrained problems in signal processing, machine leaning, communications, and many other fields. Despite its broad applications in nonconvex optimization, for a great number of nonconvex and nonsmooth objective functions, its theoretical convergence guarantee is still an open problem. In this paper, we propose a two-block linearized ADMM and a multi-block parallel linearized ADMM for problems with nonconvex and nonsmooth objectives. Mathematically, we present that the algorithms can converge for a broader class of objective functions under less strict assumptions compared with previous works. Furthermore, our proposed algorithm can update coupled variables in parallel and work for less restrictive nonconvex problems, where the traditional ADMM may have difficulties in solving subproblems.

研究の動機と目的

• 信号処理や機械学習で一般的な非凸・非滑らか最適化におけるADMMの理論的収束保証の欠如に取り組む。
• 非凸問題における従来のADMMの部分問題の解法の難しさを克服するため、線形化を導入して更新を簡素化する。
• 複数変数の同時更新を可能にする平行マルチブロック線形化ADMMの設計により、大規模問題における並列計算を可能にする。
• 先行研究よりも弱い仮定の下で、2ブロックおよびマルチブロック設定の両方における収束解析を提供する。
• 関数や行列に対する制限を緩和した条件下で、より広い非凸・非滑らか問題クラスに対して反復点および目的関数値の収束を保証する。

提案手法

• 線形化された増大ラグランジュ項を用いた部分問題を解くことで、変数を更新する2ブロック線形化ADMMを提案し、計算複雑度を低減する。
• リプシッツ定数 $ L_x $ および $ L_y $ を有する近接項を導入することで、部分問題の安定化と解の存在を保証する。
• 増大ラグランジュ関数内の非滑らか・非凸項を線形近似することで、部分問題の取り扱いやすさを向上させる。
• 複数の変数を同時に更新できる並列マルチブロックバージョンを設計し、大規模問題におけるスケーラビリティを向上させる。
• 強制性およびリプシッツ微分可能性の仮定に依存して、双対変数の有界性およびプライマル／双対残差の有界性を用いて収束を確立する。
• 増大ラグランジュ関数の構造と近接更新の性質を活用し、目的関数値および反復点の収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 既存手法よりも弱い仮定の下で、非凸・非滑らか最適化問題に対する線形化ADMMが理論的に収束保証を満たすことは可能か？
• RQ2 目的関数が非凸かつ非滑らかであり、部分問題が解きにくい状況下でも、提案された2ブロック線形化ADMMが収束を維持できるか？
• RQ3 結合された変数を有する非凸問題に対して、並列マルチブロック線形化ADMMが収束を達成できるか？ これにより、スケーラブルかつ分散型計算が可能になるか？
• RQ4 目的関数に関する仮定（例：リプシッツ微分可能性、強制性）がアルゴリズムの収束に与える影響は何か？
• RQ5 非凸設定において、双対変数の有界性およびプライマル・双対残差の収束を保証する条件は何か？

主な発見

• 提案された2ブロック線形化ADMMは、目的関数や制約行列に関する仮定を緩和した条件下で、先行研究よりも広い非凸・非滑らか問題クラスに対して収束を示す。
• アルゴリズムはプライマルおよび双対残差を0に収束させることを保証しており、これは反復点が制約を満たし、双対変数の更新が安定することを意味する。
• 増大ラグランジュ関数の収束および制約違反項の消滅により、目的関数値がアルゴリズムの進行に伴い収束する。
• 双対変数列 $ m{ u}^k $ の有界性は、$ f{B}^T m{ u}^k $ の有界性から導かれる。これは $ f{y}^k $ の有界性および更新の構造に起因する。
• $ f(f{x}) $ が非凸かつ非滑らかであり、$ g(f{x},f{y}) $ が非凸だがリプシッツ微分可能であっても、収束解析が成立する。これによりADMMの適用範囲が拡張される。
• マルチブロック並列バージョンはスケーラブルな計算を可能にし、同様の仮定の下で収束を維持する。これにより、大規模分散最適化に適している。