[論文レビュー] Parallel coordinate descent methods for composite minimization: convergence analysis and error bounds

Ion Necoara, Dragos Clipici|arXiv (Cornell University)|Dec 18, 2013

Stochastic Gradient Optimization Techniques参考文献 30被引用数 10

ひとこと要約

本稿では、部分的に分離可能な滑らかな関数と完全に分離可能な非滑らかな関数の和である目的関数を対象とする、複合凸最適化のための並列ランダムブロック座標降下法を提案する。一般化された誤差バインディング条件のもとで線形収束を確立し、これは強凸関数および局所的誤差バインディング関数を含む。収束速度はブロック数と問題の分離可能性に依存する。

ABSTRACT

In this paper we propose a distributed version of a randomized block-coordinate descent method for minimizing the sum of a partially separable smooth convex function and a fully separable non-smooth convex function. Under the assumption of block Lipschitz continuity of the gradient of the smooth function, this method is shown to have a sublinear convergence rate. Linear convergence rate of the method is obtained for the newly introduced class of generalized error bound functions. We prove that the new class of generalized error bound functions encompasses both global/local error bound functions and smooth strongly convex functions. We also show that the theoretical estimates on the convergence rate depend on the number of blocks chosen randomly and a natural measure of separability of the objective function.

研究の動機と目的

• 部分的に分離可能な滑らかな項と完全に分離可能な非滑らかな項を持つ大規模な複合凸最適化問題に対して、並列ランダムブロック座標降下法を開発すること。
• リプシッツ連続勾配や強凸性よりも弱い仮定の下で収束速度を確立すること、具体的には一般化誤差バインディング条件のもとで行う。
• 並列化が収束速度に与える影響、特に同時に更新されるブロック数と問題の分離可能性の役割を分析すること。
• 勾配降下、逐次的、並列的座標降下を特別なケースとして含む統一的な枠組みを提供すること。
• 制約付きlasso問題における数値実験を通じて理論的結果を検証し、一般化誤差バインディング性質を満たす場合に実際の収束が線形であることを確認すること。

提案手法

• 各反復でランダムに選択された変数ブロックの並列更新を実行し、滑らかな部分には勾配ステップ、非滑らかな部分にはプロキシマルステップを組み合わせる。
• 一般化誤差バインディング性質を線形収束を確立するための主要仮定として用い、これは強凸性やグローバル誤差バインディングよりも一般性が高い。
• 収束解析では、1反復あたりに更新されるブロック数と、目的関数の分離可能性の自然な尺度を考慮する。
• スケーラビリティに配慮し、特にビッグデータ問題に適した分散および並列コンピューティングアーキテクチャに適したアルゴリズムとして設計される。
• 理論的収束速度は、勾配のリプシッツ連続性と一般化誤差バインディング条件に基づいて導出される。
• 制約付きlasso問題に本手法を適用し、一般化誤差バインディング性質を満たすことが示され、線形収束が可能になる。

実験結果

リサーチクエスチョン

• RQ1 強凸性やグローバル誤差バインディングよりも弱い仮定のもとで、並列ランダムブロック座標降下法の線形収束を確立できるか？
• RQ2 同時に更新されるブロック数が、並列座標降下法の収束速度にどのように影響するか？
• RQ3 目的関数の分離構造が、アルゴリズムの収束速度にどの程度影響を与えるか？
• RQ4 提案された一般化誤差バインディング条件が、強凸関数と局所的誤差バインディング関数の両方を適切に包含しているか？
• RQ5 実世界の最適化問題（例：制約付きlasso）における数値実験を通じて、理論的収束速度が検証可能か？

主な発見

• 提案された並列ランダム座標降下法は、一般化誤差バインディング性質を特徴とする広範な問題クラスに対して線形収束を達成する。
• 一般化誤差バインディング条件は、強凸関数と局所的誤差バインディング関数を含み、先行研究の収束結果を拡張する。
• 理論的収束速度は、1反復あたりの更新ブロック数と問題の分離可能性の尺度に依存し、ブロック数が多いほど、分離性が良いほど収束が速くなる。
• 制約付きlasso問題における数値結果は、目的関数が強凸でない場合でも、一般化誤差バインディング条件を満たしていれば実際の収束が線形であることを確認する。
• P-RCDアルゴリズムは、さまざまな問題サイズとスパarsityレベルにおいて、[18]のPCDM1手法よりも反復回数が少ない。特にブロック数が多い場合に顕著に優れる。
• 次元が $10^6$ に達する実験において、P-RCDはPCDM1よりも反復回数が少なく、強凸でないが誤差バインディング条件を満たすケースにおいても収束速度は同等であった。