[論文レビュー] Cyclades: Conflict-free Asynchronous Machine Learning

Xinghao Pan, Maximilian Lam+6 more|arXiv (Cornell University)|May 1, 2016

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

Cyclades は、共有メモリシステム向けの競合フリーで非同期な機械学習フレームワークであり、ロックを用いずにレースコンディションを排除することで、広範な確率的最適化アルゴリズムのクラスにおいて証明可能な高速化を実現する。その設計により、優れたキャッシュ局所性とパフォーマンスが確保され、Hogwild! より最大40%高速な学習を達成し、分散還元非同期手法よりも最大5倍の高速化を実現している。特にスパースデータセットにおいて顕著な性能向上を示す。

ABSTRACT

We present Cyclades, a general framework for parallelizing stochastic optimization algorithms in a shared memory setting. Cyclades is asynchronous during model updates, and requires no memory locking mechanisms, similar to Hogwild!-type algorithms. Unlike Hogwild!, Cyclades introduces no conflicts during parallel execution, and offers a black-box analysis for provable speedups across a large family of algorithms. Due to its inherent cache locality and conflict-free nature, our multi-core implementation of Cyclades consistently outperforms Hogwild!-type algorithms on sufficiently sparse datasets, leading to up to 40% speedup gains compared to Hogwild!, and up to 5 imes gains over asynchronous implementations of variance reduction algorithms.

研究の動機と目的

• 共有メモリシステムにおけるモデル更新時のレースコンディションを排除することで、Hogwild! スタイルのアルゴリズムの限界を克服すること。
• メモリロックメカニズムに依存せずに、並列確率的最適化における証明可能な高速化を実現すること。
• スパース機械学習ワークロードにおけるマルチコア環境におけるキャッシュ局所性とシステムレベルのパフォーマンスを向上させること。
• 広範な最適化アルゴリズムの家族に適用可能なブラックボックス分析フレームワークを提供すること。
• 特にスパースデータにおいて、既存の非同期手法に比べ顕著なパフォーマンス向上を達成すること。

提案手法

• 共有メモリにおけるモデルパラメータ更新時にレースコンディションを回避する競合フリーな更新メカニズムを設計すること。
• ロックフリーなアーキテクチャを採用し、共有メモリ上で同期のオーバーヘッドなしに高並列性を実現すること。
• 内在的なデータスパarsityとキャッシュフレンドリーなメモリアクセスパターンを活用し、局所性を向上させ、メモリボトルネックを低減すること。
• 広範な最適化アルゴリズムのクラスにわたる高速化保証を形式的に証明するブラックボックス分析フレームワークを導入すること。
• 正しく性能を維持しながら並列性を活用するマルチコア版の Cyclades を実装すること。
• メモリ競合を最小限に抑え、CPUキャッシュにおけるデータ再利用を最大化することで、スパースデータセットに最適化すること。

実験結果

リサーチクエスチョン

• RQ1 ロックフリーで競合フリーな非同期確率的最適化フレームワークは、多様なアルゴリズムにわたって証明可能な高速化を達成できるか？
• RQ2 Cyclades はスパース機械学習ワークロードにおいて、Hogwild! よりどれほどパフォーマンスとスケーラビリティで優れているか？
• RQ3 改善されたキャッシュ局所性は、共有メモリ並列学習におけるパフォーマンス向上にどの程度寄与しているか？
• RQ4 実際の運用において、Cyclades は分散還元非同期手法よりも顕著な高速化を達成できるか？
• RQ5 Cyclades におけるパフォーマンス保証の理論的根拠は、どの程度広範な最適化アルゴリズムの家族に適用可能か？

主な発見

• Cyclades は、スパース性が十分に高いデータセットにおいて、競合フリーかつキャッシュ最適化された設計のおかげで、Hogwild! より最大40%の高速化を達成する。
• フレームワークは、レースコンディションの排除とメモリ競合の低減により、マルチコア環境において一貫して Hogwild! を上回るパフォーマンスを発揮する。
• スパースデータにおいて、分散還元非同期アルゴリズムの非同期実装よりも Cyclades は最大5倍の高速化を達成する。
• ブラックボックス分析フレームワークにより、広範な確率的最適化アルゴリズムの家族にわたる形式的かつ保証された高速化が可能である。
• パフォーマンス向上の主な要因は、優れたキャッシュ局所性と同期のオーバーヘッドの不在にある。
• Cyclades は、ロックを使用せずに、高い並列性下でも正しく性能を維持している。