[論文レビュー] A Block Successive Upper Bound Minimization Method of Multipliers for Linearly Constrained Convex Optimization

Mingyi Hong, Tsung‐Hui Chang+4 more|arXiv (Cornell University)|Jan 28, 2014

Sparse and Compressive Sensing Techniques参考文献 55被引用数 67

ひとこと要約

本稿では、大規模な線形制約付き凸最適化問題を対象とした1次元のプライマル・デュアルアルゴリズムであるブロック逐次上界最小化アンサンブル法（BSUM-M）を提案する。この手法は、増大ラグランジアンの局所的にタイトな上界を交互に最小化し、閉形式でデュアル変数を更新することで、正則性条件下で最適解への収束を達成し、制約がない状況では強い凸性を仮定しなくても線形収束を示す。

ABSTRACT

Consider the problem of minimizing the sum of a smooth convex function and a separable nonsmooth convex function subject to linear coupling constraints. Problems of this form arise in many contemporary applications including signal processing, wireless networking and smart grid provisioning. Motivated by the huge size of these applications, we propose a new class of first order primal-dual algorithms called the block successive upper-bound minimization method of multipliers (BSUM-M) to solve this family of problems. The BSUM-M updates the primal variable blocks successively by minimizing locally tight upper-bounds of the augmented Lagrangian of the original problem, followed by a gradient type update for the dual variable in closed form. We show that under certain regularity conditions, and when the primal block variables are updated in either a deterministic or a random fashion, the BSUM-M converges to the set of optimal solutions. Moreover, in the absence of linear constraints, we show that the BSUM-M, which reduces to the block successive upper-bound minimization (BSUM) method, is capable of linear convergence without strong convexity.

研究の動機と目的

• 信号処理、無線ネットワーキング、スマートグリッドシステムに生じる線形制約付きの大規模凸最適化問題を扱う。
• ブロック単位の更新と局所的上界近似を活用することで、ビッグデータにスケーラブルに拡張可能な1次元手法を開発する。
• ADMMとBCDを一般化し、上界関数の選択と更新順序（決定的または確率的）の柔軟性を可能にする。
• 標準的な正則性条件下で、決定的および確率的ブロック更新スキームの両方に対して収束を確立する。
• 線形制約が存在しない状況において、BSUM-Mの変種（BSUM）が強い凸性を仮定しなくても線形収束を達成することを示す。

提案手法

• BSUM-Mアルゴリズムは、プライマル更新とデュアル更新を交互に実行し、プライマルステップでは増大ラグランジュ関数の局所的にタイトな上界を最小化する。
• 各プライマルブロックは、固定またはランダムな順序で逐次更新され、最小化が容易なサロゲート上界関数が使用される。
• デュアル変数は勾配型ステップにより閉形式で更新され、デュアル上昇の近似となる。
• プライマル更新において増大ラグランジュ関数の代わりにカスタマイズ可能な上界関数を許容することで、ADMMを一般化する。
• スケーラビリティと収束特性の向上を図るため、決定的および確率的ブロック選択戦略をサポートする。
• 凸性および勾配のリプシッツ連続性を含む標準的な正則性条件下で収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 分離可能な非滑らか項を含む大規模な線形制約付き凸最適化問題を、効率的に解くことのできる1次元プライマル・デュアル手法を設計できるか？
• RQ2 プライマルブロックが決定的または確率的順序で更新される場合、BSUM-Mアルゴリズムは最適解集合に収束するか？
• RQ3 線形制約が存在しない状況において、強い凸性を仮定しなくてもBSUM-Mは線形収束を達成できるか？
• RQ4 需要応答や圧縮センシングなどの実世界応用において、BSUM-Mの性能はADMM や確率的BCDと比較してどうなるか？
• RQ5 信号処理およびスマートグリッドシステムにおけるビッグデータ問題を、実用的な収束速度とスケーラビリティを備えて効果的に処理できるか？

主な発見

• ブロックが決定的または確率的順序で更新されても、標準的な正則性条件下でBSUM-Mアルゴリズムは最適解集合に収束する。
• 線形制約が存在しない状況では、BSUM-MはBSUM手法に簡略化され、強い凸性を仮定しなくても線形収束を達成する。
• 基本パーシュート問題において、データ行列がスパースで問題サイズが中程度の場合、BSUM-Mは確率的BCDよりも優れた性能を示す。
• 3000人のユーザーと96時間の時間期間を含む需要応答問題において、BSUM-Mは非スケジュール負荷と比較して総コストを約50％削減した。一方、勾配降下法は200イテレーション以内に収束しなかった。
• K=3000人のユーザーに対して、BSUM-Mは14.827×10³単位の総コストを達成したのに対し、勾配降下法は60.896×10³単位であった。収束性とコスト削減の両面で優れた性能を示した。
• 電力消費時間的プロットから、BSUM-Mは供給曲線の追従性と負荷スケジューリングの安定性において、勾配降下法を上回ることが確認された。