[論文レビュー] An Asynchronous Parallel Stochastic Coordinate Descent Algorithm

Ji Liu, Steve Wright+3 more|arXiv (Cornell University)|Nov 8, 2013

Stochastic Gradient Optimization Techniques参考文献 35被引用数 147

ひとこと要約

本稿では、凸最適化のための非同期並列確率的座標降下（AsySCD）アルゴリズムを提案する。このアルゴリズムは、本質的強い凸性条件の下で線形収束を達成し、一般の凸関数に対しては $1/K$ の部分線形収束を示す。非同期更新に遅延が限定される条件下で、プロセッサ数が $O(n^{1/2})$ まで（非制約設定）および $O(n^{1/4})$ まで（分離可能制約設定）に制限される場合、マルチコアシステムでほぼ線形のスループット向上が可能である。

ABSTRACT

We describe an asynchronous parallel stochastic coordinate descent algorithm for minimizing smooth unconstrained or separably constrained functions. The method achieves a linear convergence rate on functions that satisfy an essential strong convexity property and a sublinear rate ($1/K$) on general convex functions. Near-linear speedup on a multicore system can be expected if the number of processors is $O(n^{1/2})$ in unconstrained optimization and $O(n^{1/4})$ in the separable-constrained case, where $n$ is the number of variables. We describe results from implementation on 40-core processors.

研究の動機と目的

• 機械学習およびデータ解析に生じる大規模凸最適化問題に対して、スケーラブルで非同期の並列最適化アルゴリズムを設計すること。
• 非同期更新に伴う遅延が限定される条件下で、収束保証を確立すること—本質的強い凸性の下では線形収束、一般の凸関数では部分線形収束を達成すること。
• 問題の次元 $n$ と遅延パラメータ $\tau$ を用いて、ほぼ線形のスループット向上を達成するための理論的条件を導出すること。
• 40コアシステム上でアルゴリズムの性能を実験的に検証し、実用的なスケーラビリティと効率性を示すこと。

提案手法

• アルゴリズムは、ランダムに選ばれた座標 $i$ を用いて、$i$ 番目の部分勾配 $\nabla_i f(x)$ の定数倍のステップサイズで $x_i$ を更新する確率的座標降下を実行する。
• 複数のコア上で同期せずに非同期に更新が行われ、使用する勾配情報の年齢に上限 $\tau$ が課される（遅延が限定される）。
• 分離可能制約がある場合には、更新後に各制約集合 $\Omega_i$ に再投影することで、実行可能解の維持を図る。
• 収束解析は、標準的な強い凸性よりも弱い条件である本質的強い凸性条件（3）に依存している。この条件により、解集合が非一意である場合も許容される。
• 重要な理論的境界には、制限付きリプシッツ定数 $L_{\text{res}}$、座標ごとのリプシッツ定数 $L_i$、最大リプシッツ定数 $L_{\max}$ が含まれる。
• 収束を分析するためのリャプノフ関数を構築し、最適解集合までの距離と目的関数ギャップを組み合わせる。これにより収縮不等式が得られ、収束速度が確立される。

実験結果

リサーチクエスチョン

• RQ1 標準的な強い凸性よりも弱い凸性条件下で、非同期確率的座標降下法が線形収束を達成できるか？
• RQ2 スループット向上が減少し始めるまでの最大プロセッサ数は何か？ これは問題の次元 $n$ にどのように依存するか？
• RQ3 遅延 $\tau$ が非同期座標降下における収束速度と並列効率に与える影響は何か？
• RQ4 現代のマルチコアアーキテクチャ上で、実際のスループット向上がほぼ線形に達成できるか？
• RQ5 座標ごとのリプシッツ定数とヘッセ行列の構造は、高い並列性を実現するために果たす役割は何か？

主な発見

• 本質的強い凸性条件下では、収束速度が $O((1 - \frac{l}{n(l + \gamma^{-1}L_{\max})})^K)$ の線形収束率を達成する。ここで $l$ は強い凸性パラメータである。
• 一般の凸関数に対しては、収束速度が $O(1/K)$ の部分線形収束を示し、これは逐次的確率的手法の既知の境界と一致する。
• 非制約設定ではプロセッサ数が $O(n^{1/2})$ まで、分離可能制約設定では $O(n^{1/4})$ まで、ほぼ線形のスループット向上が達成可能である。
• 40コアシステムにおける実験結果は、理論的スループット向上トレンドを確認し、高い非同期性下でも安定した性能を示している。
• ヘッセ行列がほぼ対角である場合でもアルゴリズムは有効であるため、座標間の相互作用に対して高い耐性を示している。
• ステップサイズ $\gamma = 1/2$ は理論的収束条件を満たしており、この選択下でもリャプノフ関数の有界性が解析で示されている。