[論文レビュー] Distributed Stochastic Optimization via Adaptive SGD

Ashok Cutkosky, Róbert Busa‐Fekete|arXiv (Cornell University)|Feb 16, 2018

Stochastic Gradient Optimization Techniques被引用数 14

ひとこと要約

本稿では、分散型確率的最適化手法を提案し、適応的確率的勾配降下法（SGD）と分散低減を組み合わせることで、マシン数に対して線形のスループット向上、定数メモリ使用量、対数的通信ラウンド数を達成する。任意の逐次オンライン学習アルゴリズムをブラックボックス的に並列化可能であり、滑らかさパラメータのチューニングが不要で最適収束を達成する。Spark上で実装したロジスティック回帰において、顕著な実行時間の短縮が確認された。

ABSTRACT

Stochastic convex optimization algorithms are the most popular way to train machine learning models on large-scale data. Scaling up the training process of these models is crucial, but the most popular algorithm, Stochastic Gradient Descent (SGD), is a serial method that is surprisingly hard to parallelize. In this paper, we propose an efficient distributed stochastic optimization method by combining adaptivity with variance reduction techniques. Our analysis yields a linear speedup in the number of machines, constant memory footprint, and only a logarithmic number of communication rounds. Critically, our approach is a black-box reduction that parallelizes any serial online learning algorithm, streamlining prior analysis and allowing us to leverage the significant progress that has been made in designing adaptive algorithms. In particular, we achieve optimal convergence rates without any prior knowledge of smoothness parameters, yielding a more robust algorithm that reduces the need for hyperparameter tuning. We implement our algorithm in the Spark distributed framework and exhibit dramatic performance gains on large-scale logistic regression problems.

研究の動機と目的

• 大規模機械学習における確率的凸最適化の拡張性を高めるために、逐次オンライン学習アルゴリズムの効率的な並列化を可能にする。
• マシン数に応じて線形のスループット向上を達成しながら、定数メモリ使用量と対数的通信ラウンド数を維持する。
• 滑らかさパラメータの手動チューニングを不要にすることで、未知の問題パラメータに自動的に適応できるようにする。
• 既存の適応的オンライン学習アルゴリズムを再利用可能にするブラックボックス還元を提供する。
• Sparkフレームワークを用いた大規模ロジスティック回帰において、実験的に本手法の有効性を検証し、実行時間の顕著な改善を示す。

提案手法

• 本手法は、十分に適応的な収束保証を持つ任意の逐次オンライン学習アルゴリズムを並列化するブラックボックス還元を用いる。
• SVRGに類似したバッチ勾配推定フェーズを導入することで、分散環境下での勾配ノイズを低減する分散低減を統合する。
• アルゴリズムは、バッチフェーズ（並列で正確な勾配を計算）と SGD フェーズ（バッチ勾配を用いて分散を低減）を交互に実行する。
• 滑らかさパラメータの事前知識がなくても収束を保証する、新たな摂動技術を用いて適応的学習率を維持する。
• データサイズに対して対数的であるように、階層的で多段階の集約戦略を用いることで通信を最小限に抑える。
• ストリーミングデータをサポートし、処理後は古いデータを破棄することで、各マシンのメモリ使用量を定数に保つ。

実験結果

リサーチクエスチョン

• RQ1 分散型確率的最適化アルゴリズムは、マシン数に対して線形のスループット向上を達成しながら、定数メモリ使用量と対数的通信ラウンド数を維持できるか？
• RQ2 内部の学習率やパラメータ更新ルールを変更せずに、任意の逐次オンライン学習アルゴリズムを並列化できるブラックボックス還元を設計できるか？
• RQ3 滑らかさパラメータ L の事前知識がなくても、最適収束レートを達成できるか？
• RQ4 大規模ロジスティック回帰タスクにおいて、既存の分散 SGD アルゴリズムと比較して、収束速度と通信効率の両面で優れているか？
• RQ5 分散環境下でも、逐次バージョンと同等のサンプル必要数を維持しながら、実行時間を顕著に短縮できるか？

主な発見

• m < √N の条件下で、時間計算量が Õ(N/m)、空間計算量が O(1)、通信計算量が Õ(1) ラウンド（対数要因を除く）を達成する。
• 滑らかさパラメータ L のチューニングを必要とせず、最適収束レート Õ(1/√N) を達成する。未知の問題特性に自動的に適応可能である。
• Spark 上での実験的評価により、並列化された実装は逐次アルゴリズムと同等のサンプル必要数を維持しながら、大規模ロジスティック回帰タスクで最大 90% の実行時間短縮を達成した。
• KDD10 および KDD12 データセットにおいて、本手法の SVRG OL は、Spark ML、VW、MiniBatch SGD、標準的な SVRG よりも低いテスト損失と高い AUC を達成し、通信ラウンド数は 4 回、実行時間は 6 分で実現した。
• バッチ勾配推定値がノイズを含んでも、頑健な分散低減と適応的正則化のおかげで、高確率で Õ(1/√N) の劣化バウンドを達成する。
• 通信効率面で先行手法を上回り、ミニバッチ SGD の √N ラウンドから N に対して対数的ラウンドに低減した。これにより、非常に大きな N に対しても、ほぼ定数のマップリダスジョブ回数を実現できる。