[論文レビュー] Model Accuracy and Runtime Tradeoff in Distributed Deep Learning:A Systematic Study

Suyog Gupta, Wei Zhang+1 more|arXiv (Cornell University)|Sep 14, 2015

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

この論文は、分散ディープラーニングにおけるモデルの精度と学習実行時間のトレードオフを体系的に入念に検討するパラメータサーバー基盤のフレームワークRudraを提示する。劣化した勾配の影響を軽減するためのステーナネスに配慮した学習率調整と、ソフトシンクプロトコルを導入し、勾配の陳腐化を低減する。その結果、学習者を増やすに従いミニバッチサイズを小さくすることで、精度を維持しつつ高速な学習を実現できることを明らかにした。これは、実用的な並列処理の上限を示している。

ABSTRACT

This paper presents Rudra, a parameter server based distributed computing framework tuned for training large-scale deep neural networks. Using variants of the asynchronous stochastic gradient descent algorithm we study the impact of synchronization protocol, stale gradient updates, minibatch size, learning rates, and number of learners on runtime performance and model accuracy. We introduce a new learning rate modulation strategy to counter the effect of stale gradients and propose a new synchronization protocol that can effectively bound the staleness in gradients, improve runtime performance and achieve good model accuracy. Our empirical investigation reveals a principled approach for distributed training of neural networks: the mini-batch size per learner should be reduced as more learners are added to the system to preserve the model accuracy. We validate this approach using commonly-used image classification benchmarks: CIFAR10 and ImageNet.

研究の動機と目的

• 分散ディープラーニングシステムにおけるモデルの精度と学習実行時間の相乗的な関係を体系的に調査すること。
• ハイパーパrameter（学習率、バッチサイズ）とシステムパラメータ（学習者の数、ステーナネス）が、モデルの精度と学習速度に与える影響を統合的に特定すること。
• 非同期学習における陳腐化勾配の悪影響を緩和する新しい学習率調整戦略の開発と評価。
• 通信オーバーヘッドを低減しつつ、高い精度と高速な収束を維持する同期プロトコルの設計。
• スケールアウト学習において、ミニバッチサイズを学習者の数の増加に伴い小さくするというヒューリスティックが、モデル精度を維持するために有効であることを実証的に検証すること。

提案手法

• 学習者間での勾配更新のステーナネスを定量的に測定するために、ベクトルクロックを用いる。
• 勾配のステーナネスを制御するため、ソフトシンクおよびハードシンクプロトコルのバリエーションを用いた非同期確率的勾配降下（ASGD）を採用する。
• 学習率を平均的な勾配ステーナネスで除算することで、トレーニングの安定化を図る学習率調整戦略を導入する。
• パラメータサーバーが一定期間（λ）にわたり勾配を蓄積してから重みを更新する新しい1-ソフトシンクプロトコルを提案する。これにより、ステーナネスと通信オーバーヘッドの両方を低減できる。
• 高ステーナネス環境下での収束安定化を図るため、調整済みの初期学習率を用いたAdaGrad最適化を採用する。
• CIFAR10およびImageNetベンチマークを用い、学習者の数、バッチサイズ、同期プロトコルの複数の設定において、実験的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 分散ディープラーニングにおいて、勾配のステーナネスはモデルの精度と学習速度にどのように影響するか？
• RQ2 スケールアウト学習において、モデル精度を維持するために、ミニバッチサイズと学習者数の最適な関係は何か？
• RQ3 ステーナネスに配慮した学習率調整は、非同期学習における収束性とテスト誤差の低減に寄与するか？
• RQ4 ソフトシンクとハードシンクなどの異なる同期プロトコルは、実行時間パフォーマンスとモデル精度にどのように影響するか？
• RQ5 与えられたモデルに対して、実際に有効に利用可能な学習者の数に実用的な上限があるか。その上限は何かによって決定されるか？

主な発見

• 学習者数を増やすに従い、1学習者あたりのミニバッチサイズを小さくすることが、モデル精度を維持するために不可欠であり、並列処理の利用可能上限が明確に現れる。
• 1-ソフトシンクプロトコルは、勾配ステーナネスを効果的に制限し、通信オーバーヘッドを最小限に抑えることで、特定のテスト誤差に対する最短の実行時間を達成する。
• 提案された学習率調整戦略（学習率を平均ステーナネスで除算）は、ベースライン設定と比較して、収束が速く、テスト誤差も低くなることが示された。
• AdaGradを用いた1-ソフトシンクの設定は、ベースラインと比較してバリデーション誤差が僅かに高いにとどまり、初期学習率の調整により精度を回復できることを示唆している。
• ソフトシンクプロトコルは、実行時間と精度の両面でハードシンクを上回り、特にadv∗-ソフトシンクはImageNetにおいて48%のトップ1バリデーション誤差に最も速く到達した。
• 実験的結果は、小規模（CIFAR10）および大規模（ImageNet）の両ベンチマークで一貫しており、ヒューリスティックが一般化可能であることが示された。