[論文レビュー] Randomized Block Coordinate Descent for Online and Stochastic Optimization

Huahua Wang, Arindam Banerjee|arXiv (Cornell University)|Jul 1, 2014

Stochastic Gradient Optimization Techniques参考文献 41被引用数 27

ひとこと要約

本稿では、大規模な複合最適化のための確率的勾配降下法とランダムブロック座標降下法を組み合わせた、新たな手法であるオンラインランダムブロック座標降下法（ORBCD）を提案する。1回の反復でミニバッチ勾配を用いて1つの座標ブロックを更新することで、OGD/SGDと同等の反復複雑度を達成し、分散低減により強い凸関数に対して期待値において幾何的収束を達成する。これは、SVRG や RBCD の最良の既知のレートと一致する。

ABSTRACT

Two types of low cost-per-iteration gradient descent methods have been extensively studied in parallel. One is online or stochastic gradient descent (OGD/SGD), and the other is randomzied coordinate descent (RBCD). In this paper, we combine the two types of methods together and propose online randomized block coordinate descent (ORBCD). At each iteration, ORBCD only computes the partial gradient of one block coordinate of one mini-batch samples. ORBCD is well suited for the composite minimization problem where one function is the average of the losses of a large number of samples and the other is a simple regularizer defined on high dimensional variables. We show that the iteration complexity of ORBCD has the same order as OGD or SGD. For strongly convex functions, by reducing the variance of stochastic gradients, we show that ORBCD can converge at a geometric rate in expectation, matching the convergence rate of SGD with variance reduction and RBCD.

研究の動機と目的

• 非重複する正則化子を伴う大規模かつ高次元の複合最適化問題を解く際の計算ボトルネックを解消すること。
• オンライン／確率的勾配降下法（OGD/SGD）とランダムブロック座標降下法（RBCD）の効率性を統合し、スケーラビリティを向上させること。
• 強い凸目的関数に対して高速収束を達成しつつ、1反復あたりのコストを低く保つ手法を開発すること。
• 完全バッチ手法が不適切な、空間的・時間的分散データ環境でも効率的な最適化を可能にすること。

提案手法

• 各反復でランダムに1つの座標ブロックと1つのミニバッチのサンプルを選択し、部分勾配を計算するオンラインアルゴリズム ORBCD を提案する。
• 非滑らかな正則化子を扱うためにプロキシマルステップを用い、複合最小化問題の構造を統合する。
• SVRG のインスピレーションを受けて、ノイズを低減するための分散低減機構を導入し、定期的に完全勾配を計算する。
• 最適解からの距離と正則化されたポテンシャル関数を含むリャプノフ関数の解析を通じて収束性を確立する。
• 期待値における部分最適性の指数的減衰を示す再帰不等式を導出することで、強い凸関数に対して幾何的収束を導く。
• 収束速度と安定性のバランスを取るためのステップサイズルールを用い、収縮係数 ρ < 1 を保証する。

実験結果

リサーチクエスチョン

• RQ1 オンライン／確率的勾配降下法とランダムブロック座標降下法を組み合わせたハイブリッド手法は、最先端の手法と同等の収束レートを達成できるか？
• RQ2 ORBCD は、強い凸関数に対して幾何的収束を達成しつつ、1反復あたりのコストを低く保てるか？
• RQ3 SVRG で用いられる分散低減技術は、オンライン最適化のブロック座標設定に効果的に適応可能か？
• RQ4 ORBCD の反復複雑度は、複合最小化フレームワークにおいて OGD/SGD や RBCD と比較してどうなるか？

主な発見

• ORBCD は OGD/SGD と同等の反復複雑度のオーダーを達成し、多数のサンプルを含む大規模問題に適している。
• 強い凸関数に対して、ORBCD は期待値において幾何的収束を達成し、分散低減付きの SVRG や RBCD と同等の収束速度を示す。
• 収束レートは、最適解からの距離と正則化されたポテンシャルを追跡する新規のリャプノフ関数を用いて確立された。
• 収束証明における収縮係数 ρ は、適切にステップサイズが選ばれれば 1 より厳密に小さいため、部分最適性の指数的減衰が保証される。
• 本手法は、Lasso やグループ Lasso、スパースグループ Lasso などのブロック分離型で非滑らかな正則化子を伴う問題に適している。