[論文レビュー] Distributed Stochastic Optimization via Adaptive Stochastic Gradient Descent.

Ashok Cutkosky, Róbert Busa‐Fekete|arXiv (Cornell University)|Feb 16, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用数 2

ひとこと要約

本論文は、適応的ステップサイズと分散低減を組み合わせた分散確率的最適化手法を提案しており、マシン数に対して線形スループット向上を達成するとともに、同期ラウンド数をデータセットサイズの対数スケールに抑え、低メモリ使用量を実現する。この手法は任意の逐次的SGDアルゴリズムを一般化でき、Sparkにおける大規模なロジスティック回帰において顕著な性能向上を達成する分散並列化を可能にする。

ABSTRACT

Stochastic convex optimization algorithms are the most popular way to train machine learning models on large-scale data. Scaling up the training process of these models is crucial in many applications, but the most popular algorithm, Stochastic Gradient Descent (SGD), is a serial algorithm that is surprisingly hard to parallelize. In this paper, we propose an efficient distributed stochastic optimization method based on adaptive step sizes and variance reduction techniques. We achieve a linear speedup in the number of machines, small memory footprint, and only a small number of synchronization rounds -- logarithmic in dataset size -- in which the computation nodes communicate with each other. Critically, our approach is a general reduction than parallelizes any serial SGD algorithm, allowing us to leverage the significant progress that has been made in designing adaptive SGD algorithms. We conclude by implementing our algorithm in the Spark distributed framework and exhibit dramatic performance gains on large-scale logistic regression problems.

研究の動機と目的

• 大規模機械学習における逐次的確率的勾配降下法（SGD）を効率的に並列化する課題に対処すること。
• データセットサイズの対数スケールに抑えられる通信ラウンド数によって、分散最適化における同期オーバーヘッドを低減すること。
• 複数のマシンにスケーリングする際も低メモリ使用量を維持すること。
• 任意の既存の逐次的適応的SGDアルゴリズムを並列化できるように、アプローチを一般化すること。
• 実世界の大規模なロジスティック回帰問題において、実用的な性能向上を示すこと。

提案手法

• 反復あたりの収束を向上させるために、適応的ステップサイズを採用し、適応的SGDアルゴリズムの最近の進展を活用する。
• 分散環境における安定性と収束加速を図るために、分散低減技術を統合する。
• データセットサイズに比例して対数的に増加する同期ラウンド数を最小限に抑え、線形スループット向上を達成する。
• 任意の逐次的SGD実装を並列化できる一般化された削減メカニズムを通じて、マシン間通信を最適化する。
• 完全な勾配や大容量の履歴バッファの保存を避けることで、小さなメモリフットプリントを維持する。
• 大規模クラスタへの実用的導入を可能にするために、Apache Sparkフレームワークに実装する。

実験結果

リサーチクエスチョン

• RQ1 適応的確率的勾配降下法は、同期を最小限に抑えた分散環境でも効率的に並列化可能か？
• RQ2 提案手法は、分散学習におけるマシン数に対して線形スループット向上を達成するか？
• RQ3 分散フレームワークにおいて、分散低減と適応的ステップサイズを効果的に統合できるか？
• RQ4 提案された分散最適化フレームワークにおいて、通信オーバーヘッドはデータセットサイズにどのように依存するか？
• RQ5 性能を犠牲にすることなく、任意の逐次的SGDアルゴリズムに一般化可能か？

主な発見

• 提案手法はマシン数に対して線形スループット向上を達成し、大規模データセットにおける学習時間を顕著に短縮する。
• 同期ラウンド数はデータセットサイズに対して対数的に増加し、分散学習における通信ボトルネックを最小限に抑える。
• 小さなメモリフットプリントを維持するため、リソース制限のある分散環境にも適している。
• 任意の逐次的適応的SGDアルゴリズムを効果的に一般化でき、分散環境でも高度な適応的手法の利用を可能にする。
• Sparkを用いた実験では、標準的な分散SGDと比較して、大規模なロジスティック回帰問題において顕著な性能向上を示す。