[論文レビュー] Parallel coordinate descent methods for composite minimization

Ion Necoara, Dragos Clipici|arXiv (Cornell University)|Dec 18, 2013

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、部分的に分離可能な滑らかな項と完全に分離可能な非滑らかな項からなる合成凸関数を最小化するための分散型ランダム化ブロック座標降下法を提案する。ブロック勾配のリプシッツ連続性のもとで、この手法は部分線形収束率を達成し、強凸関数や標準的な誤差バインディング関数を含む、新しい一般化誤差バインディング関数のクラスに対して線形収束が確立される。

ABSTRACT

In this paper we propose a distributed version of a randomized block-coordinate descent method for minimizing the sum of a partially separable smooth convex function and a fully separable non-smooth convex function. Under the assumption of block Lipschitz continuity of the gradient of the smooth function, this method is shown to have a sublinear convergence rate. Linear convergence rate of the method is obtained for the newly introduced class of generalized error bound functions. We prove that the new class of generalized error bound functions encompasses both global/local error bound functions and smooth strongly convex functions. We also show that the theoretical estimates on the convergence rate depend on the number of blocks chosen randomly and a natural measure of separability of the objective function.

研究の動機と目的

• 大規模な合成凸問題に対する効率的な分散最適化手法の必要性に対応する。
• 分散コンピューティング環境に適したランダム化ブロック座標降下アルゴリズムを構築する。
• 強凸性よりも弱い仮定のもとで収束保証を確立し、特に非滑らかで部分的に分離可能な目的関数に対して有効であることを示す。
• 既存の収束フレームワークを統合・拡張する新しい一般化誤差バインディング関数のクラスを導入・分析する。
• ブロック選択戦略と関数の分離構造が収束速度に与える影響を定量化する。

提案手法

• 分散ノード間で並列に変数のブロックが更新されるランダム化ブロック座標降下フレームワークを採用する。
• 目的関数の非滑らかで完全に分離可能な成分を処理するため、プロキシマール演算子を統合する。
• ブロック単位の勾配リプシッツ連続性を活用して、滑らかな部分の収束バウンドを導出する。
• 解の周囲における目的関数の局所的幾何構造を特徴付ける一般化誤差バインディング条件を導入する。
• 通信コストを最小限に抑えつつ、非同期かつ分散型の更新を可能にするアルゴリズムを設計する。
• 計算負荷のバランスと収束の加速を図るため、ランダムなブロック選択戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 強凸性を仮定しない分散型ブロック座標降下法が、合成凸問題に対して線形収束を達成できるか？
• RQ2 収束速度は、ランダムに選択されたブロック数と目的関数の分離構造にどのように依存するか？
• RQ3 強凸関数を超える範囲で、座標降下法が線形収束を達成できる関数のクラスは何か？
• RQ4 提案された一般化誤差バインディング条件は、既存の誤差バインディング仮定および強凸性仮定とどのように関係するか？
• RQ5 ブロック選択戦略が分散環境における収束速度に与える理論的影響は何か？

主な発見

• ブロック勾配のリプシッツ連続性の仮定のもとで、提案手法は部分線形収束率を達成する。
• 強凸関数やグローバル・ローカル誤差バインディング関数を含む、新しい一般化誤差バインディング関数のクラスに対して線形収束が確立される。
• 一般化誤差バインディング関数のクラスは滑らかな強凸関数を含むため、複数の収束領域を統合する。
• 理論的収束推定値は、ランダムに選択されたブロック数と関数の分離性の自然な尺度に依存する。
• ブロックの分離性が高まるほど、最適なブロック選択戦略を用いることで収束速度が向上する。
• 通信コストが低く、並列更新構造を持つため、スケーラブルであり分散環境に適している。