[論文レビュー] Parallel Stochastic Gradient Descent with Sound Combiners

Saeed Maleki, Madanlal Musuvathi+1 more|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用数 3

ひとこと要約

本稿では、スレッド間のローカルモデルを正確に組み合わせる整合的なモデルコンビナの使用により、SGDの逐次的意味論を保持する並列確率的勾配降下法であるSymSGDを提案する。16コアで逐次的SGDに対して最大11倍の高速化を達成し、勾配更新の1次近似により遅延と通信オーバーヘッドを最小限に抑えることで、同等の精度を維持しながらHogwild!よりも平均2.2倍高速である。

ABSTRACT

Stochastic gradient descent (SGD) is a well known method for regression and classification tasks. However, it is an inherently sequential algorithm at each step, the processing of the current example depends on the parameters learned from the previous examples. Prior approaches to parallelizing linear learners using SGD, such as HOGWILD! and ALLREDUCE, do not honor these dependencies across threads and thus can potentially suffer poor convergence rates and/or poor scalability. This paper proposes SYMSGD, a parallel SGD algorithm that, to a first-order approximation, retains the sequential semantics of SGD. Each thread learns a local model in addition to a model combiner, which allows local models to be combined to produce the same result as what a sequential SGD would have produced. This paper evaluates SYMSGD's accuracy and performance on 6 datasets on a shared-memory machine shows upto 11x speedup over our heavily optimized sequential baseline on 16 cores and 2.2x, on average, faster than HOGWILD!.

研究の動機と目的

• Hogwild! や AllReduce などの既存の並列SGD手法が、遅延または頻度の低い更新によって逐次的依存関係を破壊するというスケーラビリティと収束の問題に対処すること。
• 共有メモリシステムにおけるSGDの効率的かつ高忠実度の並列化を可能にし、逐次的SGDの1次的挙動を保持すること。
• 特に複数ソケット間で、Hogwild! や他の手法がスケーラビリティの限界に直面するようなマルチコア環境における通信およびキャッシュコherenceのオーバーヘッドを低減すること。
• 中間のグローバルモデル更新がローカルモデルに与える影響を正確に捉えるモデルコンビナメカニズムを設計し、収束の忠実度を保証すること。
• 現代の大容量メモリを備えたマルチコアマシン上で、並列SGDが顕著に向上した性能を示しながら、逐次的SGDに近い精度を維持できることを実証すること。

提案手法

• 各スレッドはローカルモデルと、同期ポイント間の間のグローバルモデルへの勾配更新の1次的効果を捉えるモデルコンビナを維持する。
• モデルコンビナはヘッセ行列と勾配情報を使って計算され、それが逐次的に更新された場合のグローバルモデルの変化を近似する。
• 定期的に、スレッドはモデルコンビナを用いて、グローバルモデルへのローカルモデル更新を適用することで同期を行う。この際、グローバルモデルの間接的変更を補正する。
• アルゴリズムは非同期およびマルチラウンド（MR）同期モードの両方をサポートしており、非同期バージョンは頻繁にアクセスされる特徴にのみターゲットすることで通信オーバーヘッドを最小限に抑える。
• 本手法は、さまざまな機械学習問題および並列アーキテクチャに一般化可能であり、評価は共有メモリシステムにおける線形モデルに焦点を当てている。
• モデルコンビナは、グローバルモデルの時間的変化を考慮することで、最終的なグローバルモデルが、1次近似の範囲内で逐次的SGDが生成するものと等価になるように保証する。

実験結果

リサーチクエスチョン

• RQ1 並列SGDアルゴリズムは、マルチコアシステム上で高いスケーラビリティを達成しつつ、逐次的SGDの収束挙動を保持できるか？
• RQ2 並列環境において、逐次的勾配更新の1次的効果を正確に近似するためのモデルコンビナはどのように構築できるか？
• RQ3 並列SGDにおける通信頻度の低減は、例ごとに通信するHogwild! よりも優れたパフォーマンスとスケーラビリティをもたらすか？
• RQ4 提案手法は、スパースデータだけでなく、密度の高いデータセットに対しても高い精度を維持できるか？（Hogwild! はスパースデータに最適化されており、密度の高いデータでは効果が薄い。）
• RQ5 共有メモリシステムにおける複数ソケット間で、モデルコンビナの使用がパフォーマンスとスケーラビリティをどの程度向上させるか？

主な発見

• SymSGDは、16コアで、高度に最適化された逐次的SGDベースラインに対して最大11倍の高速化を達成し、マルチコアマシンにおける強力なスケーラビリティを示した。
• 評価されたデータセット全体で、SymSGDはHogwild! より平均2.2倍速く、スケールが拡大しても一貫したパフォーマンス向上を示した。
• 非同期SymSGDは複数ソケット間で線形にスケーリングするが、Hogwild! は8から16コアに拡大する際、キャッシュコherenceのオーバーヘッドにより性能が低下する。
• モデルコンビナメカニズムは、逐次的SGDの挙動をうまく近似し、最終的なモデルが逐次的ベースラインと同等の精度になることを保証した。
• MR-SymSGDとAsync-SymSGDの両方とも、Hogwild! よりもマルチソケット環境で優れた性能を示した。非同期バージョンは通信オーバーヘッドが少ないため、より高速であった。
• Hogwild! が密度の高いデータで効果を発揮できないのとは異なり、本手法はスパースおよび密度の高いデータセットの両方で高い精度を維持した。AllReduceスタイルのアプローチでは、遅延の問題が顕著であった。