[論文レビュー] Randomized Primal-Dual Proximal Block Coordinate Updates

Xiang Gao, Yangyang Xu+1 more|arXiv (Cornell University)|May 19, 2016

Sparse and Compressive Sensing Techniques参考文献 15被引用数 15

ひとこと要約

本稿では、線形制約と結合された目的関数を伴う多ブロック凸最適化問題を解くために、確率的プライマルデュアルブロック座標更新（RPDBU）法を提案する。ランダムなブロック選択とプロキシマル項を組み合わせることで、有界性や強い凸性を仮定しない唯一の凸性仮定のもとで、期待値における収束速度がO(1/t)であることを確立した。これは、ADMM、PD-S、Prox-JADMMに対する既存の結果を回復・強化するものであり、制限的な仮定を排除した。

ABSTRACT

In this paper we propose a randomized primal-dual proximal block coordinate updating framework for a general multi-block convex optimization model with coupled objective function and linear constraints. Assuming mere convexity, we establish its $O(1/t)$ convergence rate in terms of the objective value and feasibility measure. The framework includes several existing algorithms as special cases such as a primal-dual method for bilinear saddle-point problems (PD-S), the proximal Jacobian ADMM (Prox-JADMM) and a randomized variant of the ADMM method for multi-block convex optimization. Our analysis recovers and/or strengthens the convergence properties of several existing algorithms. For example, for PD-S our result leads to the same order of convergence rate without the previously assumed boundedness condition on the constraint sets, and for Prox-JADMM the new result provides convergence rate in terms of the objective value and the feasibility violation. It is well known that the original ADMM may fail to converge when the number of blocks exceeds two. Our result shows that if an appropriate randomization procedure is invoked to select the updating blocks, then a sublinear rate of convergence in expectation can be guaranteed for multi-block ADMM, without assuming any strong convexity. The new approach is also extended to solve problems where only a stochastic approximation of the (sub-)gradient of the objective is available, and we establish an $O(1/\sqrt{t})$ convergence rate of the extended approach for solving stochastic programming.

研究の動機と目的

• 線形制約と結合された目的関数を伴う多ブロック凸最適化問題を統一的に解くフレームワークの構築。
• 強い凸性や制約集合の有界性を仮定しないプライマルデュアル設定における確率的ブロック座標更新の収束保証の確立。
• ノイズのある（部分）勾配が利用可能である確率的設定へのフレームワークの拡張。
• Prox-JADMM や PD-S といった既存アルゴリズムの収束結果を、制限的な仮定を排除することで回復・強化すること。
• 一般の凸性のもとで、期待値における部分線形収束を示すことで、確率的多ブロックADMMの理論的基盤を提供すること。

提案手法

• 各反復でブロックを一様にランダムに選択する確率的プライマルデュアルブロック座標更新（RPDBU）アルゴリズムを提案する。
• 選択されたブロックを更新する際にプロキシマル勾配マッピングを用い、他のブロックは固定する。収束を保証するための適応的プロキシマル項を導入する。
• 2ブロックを超える場合に発散する決定的多ブロックADMMの問題を回避するため、ブロック選択を確率的に行う戦略を適用する。
• ステップサイズηを用いた勾配ステップによりデュアル変数を更新し、デュアル妥当性と目的関数の進捗を保証する。
• ノイズのある（部分）勾配が利用可能な確率的設定に拡張するため、確率的（部分）勾配推定器を用い、同時にプロキシマルパラメータαₖを適応的に調整する。
• リャプノフ関数を用いて、目的関数ギャップと実行可能性違反の期待値の減少を分析することで収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性や有界性を仮定しない凸性のみのもとで、確率的ブロック座標更新スキームが多ブロック凸最適化問題に対してO(1/t)収束を保証できるか？
• RQ2 提案されたRPDBU法は、Prox-JADMM や PD-S といった既存アルゴリズムの収束速度を回復または改善できるか？
• RQ3 確率的アプローチにより、2ブロックを超えると発散することが知られている多ブロックADMMを安定化できるか？
• RQ4 ノイズのある（部分）勾配が利用可能である場合、RPDBU法の収束速度はどのようになるか？
• RQ5 RPDBUの決定的バージョンは、類似した収束性を保持できるか、それとも多ブロックケースでは確率的選択が収束に不可欠か？

主な発見

• RPDBU法は、制約集合の有界性や強い凸性を仮定しない唯一の凸性仮定のもとで、目的関数値および実行可能性測度の期待値においてO(1/t)の収束速度を達成する。
• プライマルデュアル鞍点問題（PD-S）に対しては、従来必要とされた制約集合の有界性条件を排除しても、O(1/t)の収束速度を達成する。
• Prox-JADMMに対しては、目的関数値と実行可能性違反の両面で、従来の結果を改善する新しい収束速度を導出する。
• 発散することが知られている決定的多ブロックADMMは、確率的ブロック選択を用いることで、期待値におけるO(1/t)収束を示す。
• ノイズのある（部分）勾配が利用可能な確率的設定では、拡張されたRPDBU法が適応的にプロキシマルパラメータαₖを選択することで、O(1/√t)の収束速度を達成する。
• 本手法は、既存の複数のアルゴリズムを一般化・統一する。すべてのブロックを同時に更新し、特定のプロキシマル項を用いる場合、RPDBUはProx-JADMMに簡約される。また、結合関数fが存在しない場合には、ADMMの確率的変種に簡約される。