[論文レビュー] HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent

Feng Niu, Benjamin Recht+2 more|arXiv (Cornell University)|Jun 28, 2011

Stochastic Gradient Optimization Techniques参考文献 27被引用数 1,224

ひとこと要約

Hogwild! は、機械学習問題におけるスパarsityを活用して、同期化なしにほぼ線形のスケールアップを達成するロックフリーな並列確率的勾配降下（SGD）アルゴリズムを提案する。共有メモリに対する同時に発生する非同期な更新を許容することで、ロックのオーバーヘッドを低減し、SVM や行列補完、グラフカットといったスパースなタスクにおいて、同期化ありの代替手法と比較して最大10倍の性能向上を達成する。

ABSTRACT

Stochastic Gradient Descent (SGD) is a popular algorithm that can achieve state-of-the-art performance on a variety of machine learning tasks. Several researchers have recently proposed schemes to parallelize SGD, but all require performance-destroying memory locking and synchronization. This work aims to show using novel theoretical analysis, algorithms, and implementation that SGD can be implemented without any locking. We present an update scheme called HOGWILD! which allows processors access to shared memory with the possibility of overwriting each other's work. We show that when the associated optimization problem is sparse, meaning most gradient updates only modify small parts of the decision variable, then HOGWILD! achieves a nearly optimal rate of convergence. We demonstrate experimentally that HOGWILD! outperforms alternative schemes that use locking by an order of magnitude.

研究の動機と目的

• 並列計算における確率的勾配降下（SGD）のスケーラビリティのボトル neck を、同期化やロックのオーバーヘッドによって引き起こされる問題に起因するものとして解決すること。
• 最適化問題がスパースな場合に、ロックなしで並列 SGD が効果的に実装可能であることを示すこと。
• 実世界の機械学習応用において、既存のロックあり並列 SGD 方式よりも顕著な性能向上を達成すること。
• スパarsity の下で、ロックフリー手法の収束性とスケールアップ特性について理論的裏付けを提供すること。
• 計算的に高負荷な勾配ステップが行われる状況でも、Hogwild! がラウンドロビン法やロックあり手法に比べて優れた性能を維持できることを示すこと。

提案手法

• Hogwild! は、複数のプロセッサが同期化なしに共有メモリに同時にアクセス・更新するロックフリーな更新戦略を用いる。
• アルゴリズムは、各確率的勾配更新が意思決定変数の小さなサブセットにのみ影響することに依存している。
• 目的関数が可分でスパースであると仮定し、変数の小さな部分集合上の関数の和として表現され、ハイパーグラフ構造を誘導する。
• スパarsity のため、メモリの上書きがまれであり、発生しても誤差が無視できるほど小さいことを活用する。
• 理論的分析により、スパarsity の下では、定常ステップサイズでもほぼ最適に近い収束速度を達成できることを示している。
• 実験的評価では、実データセット上で Hogwild! をロックありおよびラウンドロビン方式と比較し、複数コアにおけるウォールクロック時間とスケールアップ性能を測定している。

実験結果

リサーチクエスチョン

• RQ1 共有メモリシステムにおいて、同期化やロックなしで確率的勾配降下（SGD）を効果的に並列化できるか？
• RQ2 並列メモリ更新が同時に発生する状況下でも、ロックフリーな SGD アプローチが収束性と性能を維持する条件は何か？
• RQ3 最適化問題のスパarsity が、ロックフリーな SGD の有効性と頑健性にどのように影響を与えるか？
• RQ4 Hogwild! は、スパースなデータ構造を持つ実世界の機械学習タスクで、ほぼ線形のスケールアップを達成できるか？
• RQ5 勾配計算が遅い状況において、Hogwild! はロックありおよびラウンドロビン方式の並列 SGD と比較して、性能にどの程度優れるか？

主な発見

• グラフカット問題において、10スレッドで Hogwild! は4倍以上のスルーブプを達成したが、ラウンドロビン（RR）はシリアライズ版の2倍も遅かった。
• 勾配計算が遅い DBLife エンティティ認識問題では、10コアで Hogwild! は9倍のスルーブプを達成した。これに対して RR は5倍のスルーブプにとどまり、Hogwild! が顕著に優位であった。
• RCV1 SVM データセットでは、相対的に高い ρ 値を示しても Hogwild! は顕著なスルーブプを達成しており、スパarsity が中程度であっても頑健であることが示された。
• 勾配計算の遅延が1ミリ秒を超えると、RR と Hogwild! は同程度のスルーブプを達成するが、Hogwild! は全遅延レベルでウォールクロック時間が常に低く保たれた。
• 実際の応用において、Hogwild! はすべてのロックありおよびラウンドロビン方式を上回り、理論的期待を超える優れたスケーラビリティを示した。
• 理論的分析により、Hogwild! の定常ステップサイズスキームが指数的バックオフを用いることで、遅い 1/√k のレートを避けて、頑健な 1/k の収束レートを達成できることを確認した。