[論文レビュー] On the Sublinear Convergence Rate of Multi-Block ADMM

Tianyi Lin, Shiqian Ma+1 more|arXiv (Cornell University)|Aug 19, 2014

Sparse and Compressive Sensing Techniques参考文献 40被引用数 16

ひとこと要約

本稿は、弱い条件下で、標準的なマルチブロック ADMM (N ≥ 3) に対して、初めてのサブリニア収束レートを確立した。1つの関数が凸であり、残りの N−1 個が強く凸である場合、ペナルティパラメータが特定の範囲にあるとき、O(1/t) のエルゴディック収束レートと o(1/t) の非エルゴディックレートを示した。これにより、実用的なマルチブロック ADMM 応用における長年の収束の不確実性が解消された。

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used in solving structured convex optimization problems. Despite of its success in practice, the convergence properties of the standard ADMM for minimizing the sum of $N$ $(N\geq 3)$ convex functions with $N$ block variables linked by linear constraints, have remained unclear for a very long time. In this paper, we present convergence and convergence rate results for the standard ADMM applied to solve $N$-block $(N\geq 3)$ convex minimization problem, under the condition that one of these functions is convex (not necessarily strongly convex) and the other $N-1$ functions are strongly convex. Specifically, in that case the ADMM is proven to converge with rate $O(1/t)$ in a certain ergodic sense, and $o(1/t)$ in non-ergodic sense, where $t$ denotes the number of iterations. As a by-product, we also provide a simple proof for the $O(1/t)$ convergence rate of two-block ADMM in terms of both objective error and constraint violation, without assuming any condition on the penalty parameter and strong convexity on the functions.

研究の動機と目的

• 標準的なマルチブロック ADMM (N ≥ 3) の収束に関する長年の未解決問題を解消すること。これは、実務的に成功していたが、理論的には不確かであった。
• N ≥ 3 の標準 ADMM が、明確に定量化可能なサブリニアレートで収束するための十分条件を同定すること。
• 強い凸性やペナルティパラメータの制約を必要としない、2ブロック ADMM の O(1/t) 収束レートに対する簡単で統一的な証明を提供すること。
• マルチブロック ADMM のエルゴディックおよび非エルゴディック両方の意味での収束保証を確立し、理論的理解における重要な空白を埋めること。

提案手法

• マルチブロック ADMM 専用に設計された、プライマル妥結、双対不整合、目的関数ギャップの重み付き和に基づく新しいリャプノフ関数を提案する。
• 部分問題の最適性条件を用いて、1反復あたりのリャプノフ関数の減少を制限する重要な不等式（補題 3.1）を導入する。
• リャプノフ関数の再帰的不等式を導出し、テレスコピング和を可能にすることで収束レート解析を可能にする。
• エルゴディック反復平均化を用いて、目的関数誤差および制約違反において O(1/t) の収束レートを達成する。
• 非エルゴディック解析を適用し、特定の状況ではエルゴディックレートを上回る o(1/t) の収束を示す。
• ペナルティパラメータおよび強く凸性パラメータを用いて、双対ギャップおよび妥結違反をバインドすることで収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 標準的なマルチブロック ADMM (N ≥ 3) が、どのような条件下でサブリニアレートで収束することが保証されるか？
• RQ2 すべての関数が強く凸でない場合でも、マルチブロック ADMM の収束レートを解析可能か？
• RQ3 ペナルティパラメータとマルチブロック ADMM の収束との間の明確な関係は何か？
• RQ4 強い凸性仮定なしに、2ブロック ADMM の O(1/t) 収束レートに対する簡単な証明を提供可能か？
• RQ5 マルチブロック ADMM の文脈において、エルゴディックレートと非エルゴディックレートはどのように比較されるか？

主な発見

• 1つの関数が凸で、残りの N−1 個が強く凸であり、ペナルティパラメータが特定の有界領域にあるとき、標準的なマルチブロック ADMM は O(1/t) のエルゴディックレートで収束する。
• 非エルゴディック反復は o(1/t) のレートで収束し、点ごとの収束の観点ではエルゴディックレートを上回る。
• プライマル妥結、双対不整合、目的関数ギャップを捉えるように巧みに構築されたリャプノフ関数を用いて収束レートを確立した。
• 強い凸性やペナルティパラメータの制約を必要としない、2ブロック ADMM の O(1/t) 収束レートに対する簡単な証明を提供した。
• 解析により、標準 ADMM が弱い条件下でも理論的に収束することが保証されることを確認し、その実務的成功を説明できた。
• 結果として、以前の反例にもかかわらず、実用的に広く使われてきたマルチブロック ADMM の理論的基盤を提供した。