[論文レビュー] Fast Asynchronous Parallel Stochastic Gradient Decent

Shen-Yi Zhao, Wu-Jun Li|arXiv (Cornell University)|Aug 24, 2015

Stochastic Gradient Optimization Techniques参考文献 7被引用数 5

ひとこと要約

本稿では、分散低減されたSVRGフレームワークを活用して、効率的なマルチコア学習を可能にする高速な非同期並列確率的勾配降下法AsySVRGを提案する。一貫性のある読込戦略と一貫性のない読込戦略を導入することで、AsySVRGは線形収束を達成し、実世界のデータセットにおいてHogwild!よりも収束速度と計算コストの両面で優れている。

ABSTRACT

Stochastic gradient descent~(SGD) and its variants have become more and more popular in machine learning due to their efficiency and effectiveness. To handle large-scale problems, researchers have recently proposed several parallel SGD methods for multicore systems. However, existing parallel SGD methods cannot achieve satisfactory performance in real applications. In this paper, we propose a fast asynchronous parallel SGD method, called AsySVRG, by designing an asynchronous strategy to parallelize the recently proposed SGD variant called stochastic variance reduced gradient~(SVRG). Both theoretical and empirical results show that AsySVRG can outperform existing state-of-the-art parallel SGD methods like Hogwild! in terms of convergence rate and computation cost.

研究の動機と目的

• マルチコアシステムにおける既存の並列SGD手法の性能制限、特に最適でない収束速度を解決すること。
• 大規模な経験的リスク最小化問題における収束速度と計算効率を向上させること。
• 同期化のボトルネックを回避しながら収束保証を維持するSVRGアルゴリズムの非同期並列戦略を設計すること。
• 理論的収束速度と実験的実行時間の両面で、Hogwild!などの最先端手法を上回る性能を示すこと。

提案手法

• ロックなしで複数のスレッドが共有パラメータを更新するのを調整するための2つの非同期スキーム（一貫性のある読込と一貫性のない読込）を提案する。
• 周期的な間隔で全勾配のスナップショットを使用して制御変数を計算することで、SVRGアルゴリズムを適応させる。
• 非同期設定における陳腐化した勾配を補正するための更新式 $\mathbf{v}_m = \nabla f_{i_m}(\mathbf{u}_{k(m)}) - \nabla f_{i_m}(\mathbf{u}_0) + \nabla f(\mathbf{u}_0)$ を使用する。
• スレッドが独立してデータインスタンスをサンプリングし、グローバルパラメータベクトルを非同期に更新する共有メモリモデルを採用する。
• 収束と計算コストのバランスを取るために、内側ループの長さ $M = \frac{2n}{p}$ を設定する。
• 一定ステップサイズ $\gamma$ を使用し、エポックごとに適応的減衰（$\gamma \leftarrow 0.9\gamma$）を実施することで、実用的収束を改善する。

実験結果

リサーチクエスチョン

• RQ1 マルチコアシステム上で、Hogwild!などの既存の並列SGD手法よりも速い収束を達成できる非同期SVRGの変種は存在するか？
• RQ2 AsySVRGにおける一貫性のある読込戦略と一貫性のない読込戦略は、非同期状態下でも線形収束を維持するか？
• RQ3 実世界のデータセットにおいて、AsySVRGとHogwild!の計算コストと収束速度の比較は？
• RQ4 ロックフリーな更新戦略とロック付き更新戦略の非同期SVRGにおける性能への影響は？
• RQ5 AsySVRGは、Hogwild!よりも少ないデータの有効パス数でより速い収束を達成できるか？

主な発見

• rcv1データセットにおいて、AsySVRG-unlock（一貫性のない読込）は10スレッドで5.77倍のスループット向上を達成し、Hogwild!が同様のタスクで200秒以上かかったのに対し、優れた性能を示した。
• news20データセットでは、AsySVRG-unlockは$10^{-4}$のギャップに到達するまでに514.50秒を要したが、Hogwild!は2000秒以上を要し、著しい実行時間の優位性を示した。
• rcv1データセットで8スレッドを使用した場合、AsySVRG-lockは4.92倍のスループット向上を達成した。一方、Hogwild!が10スレッドで500秒以上を要したのに対し、AsySVRGの優れた効率性が顕著に現れた。
• 図1に示すように、AsySVRGの収束速度はHogwild!よりも顕著に速く、より少ない有効パス数で低い目的関数値に到達している。
• 実際の実行では、一貫性のある読込戦略が最も悪く、AsySVRG-lockおよびAsySVRG-unlockよりも長い実行時間を要しており、非同期環境下での非効率性が示された。
• 理論的に証明されたように、AsySVRGは一貫性のある読込および一貫性のない読込の両方で線形収束を維持するが、Hogwild!は線形収束を達成できず、部分的収束にとどまる。