[論文レビュー] GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training

Thomas Paine, Hailin Jin+3 more|arXiv (Cornell University)|Dec 21, 2013

Advanced Neural Network Applications参考文献 14被引用数 67

ひとこと要約

この論文では、複数のGPUを用いたモデル並列処理と非同期SGDを用いたデータ並列処理を組み合わせたハイブリッド手法であるGPU非同期確率的勾配降下法（GPU A-SGD）を提案する。大規模な畳み込みニューラルネットワークの学習を高速化するもので、8つのGPUを用いたImageNet ILSVRC 2012データセットにおいて、準最先端の性能を維持したまま3.2倍の高速化を達成した。非同期更新と頻繁なパラメータ同期を組み合わせることで、精度を損なうことなく学習時間を顕著に短縮できることを示している。

ABSTRACT

The ability to train large-scale neural networks has resulted in state-of-the-art performance in many areas of computer vision. These results have largely come from computational break throughs of two forms: model parallelism, e.g. GPU accelerated training, which has seen quick adoption in computer vision circles, and data parallelism, e.g. A-SGD, whose large scale has been used mostly in industry. We report early experiments with a system that makes use of both model parallelism and data parallelism, we call GPU A-SGD. We show using GPU A-SGD it is possible to speed up training of large convolutional neural networks useful for computer vision. We believe GPU A-SGD will make it possible to train larger networks on larger training sets in a reasonable amount of time.

研究の動機と目的

• GPUベースのモデル並列処理と非同期データ並列処理を組み合わせることで、大規模なニューラルネットワークの学習を高速化すること。
• GPU A-SGDの有効性を、ImageNet ILSVRC 2012ベンチマークにおける大規模な畳み込みニューラルネットワークの学習時間短縮の観点から評価すること。
• 同期頻度（$n_{ ext{sync}}$）とGPUクライアント数の変化が、学習収束と誤差率に与える影響を調査すること。
• 非同期分散学習における更新頻度と学習安定性のトレードオフを調査すること。
• ウォームスタートと適応的最適化手法が、非同期GPU学習における性能向上に寄与するかどうかを特定すること。

提案手法

• MPIを用いたプロセス間通信により、複数のGPUクライアントが中央のパラメータサーバーと通信するように、cuda-convnetフレームワークを拡張した。
• 非同期確率的勾配降下法（A-SGD）を採用し、各GPUクライアントがミニバッチごとに勾配を独立して計算し、非同期的に共有モデルパラメータを更新する。
• クライアントがサーバーから更新されたパラメータを取得し、勾配をプッシュする頻度を制御する同期間隔 $n_{ ext{sync}}$ を使用する。
• 異なる設定間での明確な比較を可能にするために、学習誤差曲線にスライディングウインドウスムージング（400ミニバッチ）を適用した。
• 初期学習ダイナミクスと収束行動を分析するために、コールドスタートとウォームスタートの両方の訓練プロトコルを実装した。
• 標準的なディープラーニング部品（ReLU活性化関数、ドロップアウト、データオーグメンテーション、多クロップテストによる評価）を用いた。

実験結果

リサーチクエスチョン

• RQ1 GPU A-SGDは、単一GPU学習と比較して、大規模な畳み込みニューラルネットワークの学習を顕著に高速化できるか？
• RQ2 GPUクライアント数が、特に初期学習段階において、学習速度と最終誤差率にどのように影響するか？
• RQ3 勾配の陳腐化と学習効率のバランスをとる最適な同期頻度（$n_{ ext{sync}}$）は何か？
• RQ4 ウォームスタートは、クライアント数が多い非同期学習環境で観察される初期の学習遅延を緩和できるか？
• RQ5 コールドスタートとウォームスタートの設定における収束と誤差進行の点で、学習ダイナミクスにどのような差が生じるか？

主な発見

• 8つのGPUを用いたImageNet ILSVRC 2012データセットにおいて、GPU A-SGDは学習時間を10.6日から3.3日に短縮し、3.2倍の高速化を達成した。テスト誤差は42.2％に到達した。
• ウォームスタートを採用した場合、$n_{ ext{sync}} = 100$ の条件下で、単一GPUの70％から8GPUの58％へと誤差が低下し、並列処理の増加に伴い顕著な性能向上が確認された。
• 多くのGPUクライアント（例：32）を用いた初期学習は、クライアント数が少ない場合よりも著しく遅く、初期段階での勾配不整合が収束を遅くしている可能性を示唆した。
• 学習の後期段階では、より多くのGPUクライアントを用いたモデルが急峻な学習曲線を示し、勾配の一貫性が時間とともに向上し、平均化の恩恵を受けるようになった。
• 高い同期頻度（$n_{ ext{sync}} = 100$）は、処理されたミニバッチ数が少ないにもかかわらず、最終誤差が低く抑えられた。これは、頻繁な更新が通信オーバーヘッドを上回る効果をもたらすことを示している。
• 高頻度の同期（例：$n_{ ext{sync}} = 900$）では、誤差曲線に粗いアーチファクトが現れ、陳腐化した勾配が不安定性を引き起こし収束を妨げることが示唆された。