[論文レビュー] Distributed coordinate descent methods for composite minimization

Ion Necoara, Dragos Clipici|arXiv (Cornell University)|Dec 18, 2013

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿では、部分的に分離可能な滑らかな凸関数と完全に分離可能な非滑らかな凸関数を含む複合最小化問題に対する分散型ランダム化ブロック座標降下法を提案する。ブロックリプシッツ勾配仮定の下で、この手法は部分線形収束速度を達成し、強凸関数および誤差バウンド関数を含む、新しいクラスの一般化誤差バウンド関数に対して線形収束を示す。収束はブロック選択と関数の分離性に依存する。

ABSTRACT

In this paper we propose a distributed version of a randomized block-coordinate descent method for minimizing the sum of a partially separable smooth convex function and a fully separable non-smooth convex function. Under the assumption of block Lipschitz continuity of the gradient of the smooth function, this method is shown to have a sublinear convergence rate. Linear convergence rate of the method is obtained for the newly introduced class of generalized error bound functions. We prove that the new class of generalized error bound functions encompasses both global/local error bound functions and smooth strongly convex functions. We also show that the theoretical estimates on the convergence rate depend on the number of blocks chosen randomly and a natural measure of separability of the objective function.

研究の動機と目的

• 分離構造を有する複合凸最適化問題のための分散型最適化手法の開発。
• ブロックリプシッツ勾配仮定の下での収束速度の分析。
• 新しいクラスの一般化誤差バウンド関数に対する線形収束の確立。
• ブロック選択と関数分離性が収束速度に与える影響の定量的評価。

提案手法

• 本手法は、滑らかで部分的に分離可能な関数と非滑らかで完全に分離可能な関数の和を最小化するために、分散環境下でランダム化ブロック座標降下を用いる。
• 各ブロックごとの勾配計算を活用し、分散ノード間で並列に更新を実行する。
• 収束解析は、滑らかな成分の勾配のブロックリプシッツ連続性に基づく。
• 線形収束を確立するために、新しいクラスの一般化誤差バウンド関数を導入する。
• 理論的収束レートは、ランダムに選択されたブロック数と関数分離性の尺度に基づいて導出される。
• フル勾配計算が非現実的である大規模問題を想定して設計されている。

実験結果

リサーチクエスチョン

• RQ1 分離構造を有する複合最小化問題に対して、分散型ブロック座標降下法が部分線形収束を達成できるか？
• RQ2 従来の知られていた関数クラスよりも広い範囲の関数に対して、この手法が線形収束を達成できるか？
• RQ3 ランダムに選択されたブロック数が収束速度にどのように影響するか？
• RQ4 目的関数の分離性の尺度が収束速度に果たす役割は何か？
• RQ5 一般化誤差バウンドクラスは、強凸関数および誤差バウンド関数の既存の収束結果を統一的に扱えるか？

主な発見

• 滑らかな関数の勾配のブロックリプシッツ連続性を仮定すると、本手法は部分線形収束速度を達成する。
• グローバル／ローカル誤差バウンドおよび滑らかな強凸関数を含む、新しいクラスの一般化誤差バウンド関数に対して線形収束が確立された。
• 収束速度は、ランダムに選択されたブロック数と目的関数の自然な分離性の尺度に依存する。
• 一般化誤差バウンドクラスは、既存の収束結果を拡張する統一的フレームワークを提供する。
• 理論的推定では、分離性が高くなるほどかつ最適なブロック選択がなされると、収束速度が向上することが示された。