[論文レビュー] Optimal Distributed Online Prediction using Mini-Batches

Ofer Dekel, Ran Gilad-Bachrach+2 more|arXiv (Cornell University)|Dec 7, 2010

Stochastic Gradient Optimization Techniques参考文献 35被引用数 563

ひとこと要約

この論文は、逐次的勾配ベースのオンライン学習手法をスケーラブルで通信効率の高い分散システムに変換する分散ミニバッチアルゴリズムを提案する。確率的入力下での滑らかな凸損失関数に対して、漸近的に最適なレジットバウンドを達成し、通信遅延を明示的にモデル化することで、分散確率的最適化におけるニアーライニア速度向上を実現する。

ABSTRACT

Online prediction methods are typically presented as serial algorithms running on a single processor. However, in the age of web-scale prediction problems, it is increasingly common to encounter situations where a single processor cannot keep up with the high rate at which inputs arrive. In this work, we present the \emph{distributed mini-batch} algorithm, a method of converting many serial gradient-based online prediction algorithms into distributed algorithms. We prove a regret bound for this method that is asymptotically optimal for smooth convex loss functions and stochastic inputs. Moreover, our analysis explicitly takes into account communication latencies between nodes in the distributed environment. We show how our method can be used to solve the closely-related distributed stochastic optimization problem, achieving an asymptotically linear speed-up over multiple processors. Finally, we demonstrate the merits of our approach on a web-scale online prediction problem.

研究の動機と目的

• 複数のプロセッサに計算を分散させることで、高速なデータストリームに適したオンライン予測のスケーリング課題に対処する。
• リアルタイムでウェブ規模のアプリケーションにおいて、逐次的オンライン学習アルゴリズムの性能ボトルネックを克服する。
• ノード間の現実的な通信遅延を考慮しつつ、理論的に最適なレジットバウンドを維持する分散アルゴリズムを設計する。
• ミニバッチ処理を伴う分散環境下で、滑らかな凸損失関数に対して漸近的に最適なレジットを達成する。
• この手法が、複数のプロセッサ上でニアーライニア速度向上を達成しつつ理論的保証を維持できる分散確率的最適化問題を解く方法を示す。

提案手法

• マスターワーカーアーキテクチャを用いて、逐次的勾配ベースのオンライン学習アルゴリズムを分散ミニバッチフレームワークに変換する。定期的な同期を伴う。
• 入力をサイズ $ b $ のバッチで処理し、各ノードがミニバッチごとに勾配を計算し、中央のコーディネータに平均化された更新を送信する。
• 通信遅延を明示的にモデル化するため、バッチ更新の送信および処理に要する時間を表す遅延パラメータ $ \mu $ を導入する。
• マーティングレイルベースのベルンシュタイン不等式を用いて、ミニバッチ損失が期待値から逸脱する確率を抑え、高確率でのレジット保証を確保する。
• ミニバッチ平均損失関数に、分散のスケーリングを $ 1/b $ にすることで、ミニバッチ勾配の分散低減を反映させた、逐次的レジットバウンド $ \psi(\sigma^2, \hat{\sigma}^2, \delta, m) $ を適用する。
• スケーリングされた逐次的レジットと、サンプリングおよび通信ノイズに起因する追加の $ O(\hat{\sigma}\sqrt{(1 + \mu/b)\log(1/\delta)m}) $ 項を組み合わせた、合計レジットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 通信遅延が存在する状況下でも、滑らかな凸損失関数に対して、漸近的に最適なレジットバウンドを達成できる分散オンライン学習アルゴリズムは構築可能か？
• RQ2 ミニバッチ処理は、逐次の状況と比較して、分散オンライン予測システムにおけるレジットバウンドにどのような影響を与えるか？
• RQ3 通信遅延 $ \mu $ とバッチサイズ $ b $ が、全体のレジットと収束速度に与える影響は何か？
• RQ4 分散ミニバッチアルゴリズムは、理論的保証を維持したまま、分散確率的最適化においてニアーライニア速度向上を達成できるか？
• RQ5 従属的かつi.i.d.でない入力と遅延通信を伴う分散環境において、高確率でのレジットバウンドをどのように導出できるか？

主な発見

• この分散ミニバッチアルゴリズムは、高確率で合計レジットバウンド $ (b + \mu)\psi\left(\frac{\sigma^2}{b}, \frac{\hat{\sigma}^2}{b}, \delta, \frac{m}{b + \mu}\right) + O\left(\hat{\sigma}\sqrt{\left(1 + \frac{\mu}{b}\right)\log(1/\delta)m}\right) $ を達成する。
• レジットバウンドは $ \sqrt{m} $ に最適にスケーリングされ、滑らかな凸損失関数に対して可能な最良の逐次的レジットバウンドと一致し、漸近的最適性を裏付ける。
• 分散確率的最適化においてニアーライニア速度向上を達成し、$ k $ 個のプロセッサを使用する際、レジットが $ O(\sqrt{m/k}) $ にスケーリングされる。
• ミニバッチ処理により、勾配と損失の分散が $ b $ 倍低減され、分散環境下での安定性と収束性が向上する。
• レジットバウンドの追加の $ O(\sqrt{m}) $ 項は通信に起因するノイズとサンプリング分散に起因するが、常に有界で管理可能である。
• ウェブ規模のオンライン予測タスクにおける実験的評価により、実世界の分散環境において、この手法の実用的効果とスケーラビリティが確認された。