[論文レビュー] Model Accuracy and Runtime Tradeoff in Distributed Deep Learning

Suyog Gupta, Wei Zhang+1 more|arXiv (Cornell University)|Sep 14, 2015

Stochastic Gradient Optimization Techniques参考文献 25被引用数 16

ひとこと要約

Rudra は、遅延時間制限付き同期プロトコルと適応的学習率調整を導入することで、分散ディープラーニングを最適化するパラメータサーバーフレームワークである。これにより、モデルの精度を維持したまま高速な学習が可能になる。実験的結果では、学習者を増やすに従い、1学習者あたりのミニバッチサイズを小さくすることで、CIFAR10 および ImageNet における精度を保ちながら実行時間性能を向上させることができる。

ABSTRACT

This paper presents Rudra, a parameter server based distributed computing framework tuned for training large-scale deep neural networks. Using variants of the asynchronous stochastic gradient descent algorithm we study the impact of synchronization protocol, stale gradient updates, minibatch size, learning rates, and number of learners on runtime performance and model accuracy. We introduce a new learning rate modulation strategy to counter the effect of stale gradients and propose a new synchronization protocol that can effectively bound the staleness in gradients, improve runtime performance and achieve good model accuracy. Our empirical investigation reveals a principled approach for distributed training of neural networks: the mini-batch size per learner should be reduced as more learners are added to the system to preserve the model accuracy. We validate this approach using commonly-used image classification benchmarks: CIFAR10 and ImageNet.

研究の動機と目的

• 分散ディープラーニングシステムにおける学習速度とモデル精度のトレードオフを解消すること。
• 同期プロトコル、勾配の遅延、ミニバッチサイズ、学習率、学習者の数がパフォーマンスと精度に与える影響を調査すること。
• 劣化した勾配の悪影響を軽減する新しい学習率調整戦略を開発すること。
• 勾配の遅延を制限し、実行時間効率を向上させる新しい同期プロトコルを設計すること。
• 学習者の数を増加させてもモデル精度を維持できる、体系的なスケーリング戦略を確立すること。

提案手法

• Rudra は、複数の学習者間で非同期的勾配降下法（ASGD）を調整するため、パラメータサーバーアーキテクチャを採用している。
• 発展的な同期プロトコルを導入し、勾配更新の遅延を能動的に制限することで、発散を防ぎ、収束を改善している。
• 新しい学習率調整戦略により、勾配の遅延に基づいて動的に学習率を調整し、学習の安定化を図っている。
• ミニバッチサイズ、学習率、学習者の数、遅延しきい値といった複数のハイパーパrameterのトレードオフを評価している。
• 標準的な画像分類ベンチマークを用いて、CIFAR10 および ImageNet で実験を行い、手法の有効性を検証している。
• 学習者の数が増加するに従い、1学習者あたりのミニバッチサイズを動的に調整することで、精度を維持している。

実験結果

リサーチクエスチョン

• RQ1 分散ディープラーニングにおける勾配の遅延は、モデル精度と学習収束にどのように影響するか？
• RQ2 学習者の数を増加させる際、実行時間パフォーマンスとモデル精度の最適なトレードオフは何か？
• RQ3 遅延時間制限付き同期プロトコルは、学習速度とモデル精度の両方を向上させることができるか？
• RQ4 学習者の数が増加するに従い、モデル精度を維持するためにミニバッチサイズはどのように調整すべきか？
• RQ5 適応的学習率調整戦略は、劣化した勾配の悪影響を効果的に緩和できるか？

主な発見

• 学習者の数が増加するに従い、1学習者あたりのミニバッチサイズを小さくすることで、高い遅延が生じてもモデル精度が維持される。
• 提案された遅延時間制限付き同期プロトコルは、CIFAR10 および ImageNet における実行時間パフォーマンスを向上させるとともに、高いモデル精度を維持している。
• 適応的学習率調整戦略は、劣化した勾配によって引き起こされる性能低下を効果的に緩和している。
• 実験的結果から、ミニバッチサイズを適切にスケーリングすれば、精度を犠牲にすることなく、より多くの学習者を効率的に使用できることが示された。
• 標準的な ASGD 設定と比較して、最小限の精度低下で高速な学習時間を達成している。
• 本手法により、さまざまなシステム規模において一貫したパフォーマンスを実現するスケーラブルな分散学習が可能になった。