[論文レビュー] Asynchronous Stochastic Gradient Descent with Delay Compensation for Distributed Deep Learning.

Shuxin Zheng, Qi Meng+5 more|arXiv (Cornell University)|Sep 27, 2016

Advanced Neural Network Applications参考文献 18被引用数 27

ひとこと要約

本稿では、分散ディープラーニングにおける勾配遅延を補正するためにテイラー展開とヘッセ行列の近似を用いる、新しい非同期確率的勾配降下法である Delay Compensated ASGD (DC-ASGD) を提案する。この手法は収束性と性能を顕著に向上させ、CIFAR-10 および ImageNet において同期的SGDと同等の精度に近づき、同期的SGDおよび標準的な非同期SGDを上回る性能を発揮する。

ABSTRACT

With the fast development of deep learning, it has become common to learn big neural networks using massive training data. Asynchronous Stochastic Gradient Descent (ASGD) is widely adopted to fulfill this task for its efficiency, which is, however, known to suffer from the problem of delayed gradients. That is, when a local worker adds its gradient to the global model, the global model may have been updated by other workers and this gradient becomes delayed. We propose a novel technology to compensate this delay, so as to make the optimization behavior of ASGD closer to that of sequential SGD. This is achieved by leveraging Taylor expansion of the gradient function and efficient approximation to the Hessian matrix of the loss function. We call the new algorithm Delay Compensated ASGD (DC-ASGD). We evaluated the proposed algorithm on CIFAR-10 and ImageNet datasets, and the experimental results demonstrate that DC-ASGD outperforms both synchronous SGD and asynchronous SGD, and nearly approaches the performance of sequential SGD.

研究の動機と目的

• 分散学習におけるモデル更新に起因する勾配遅延が非同期確率的勾配降下（ASGD）の性能を低下させる要因となるのを是正すること。
• 勾配遅延の補正を用いることで、大規模ディープラーニングにおける最適化の安定性と収束速度を向上させること。
• 分散学習環境において非同期SGDと逐次的SGDの性能格差を埋めること。
• 高速な非同期更新の利点を保ちながら、高い学習精度を維持できる効率的でスケーラブルな手法を開発すること。

提案手法

• モデルの更新に伴う勾配の変化を時間的変化としてモデル化するため、勾配関数のテイラー展開を用いる。
• 損失関数のヘッセ行列を近似することで、曲率を推定し、遅延勾配を補正する。
• 推定されたヘッセ行列と時間的遅延の情報を用いて、勾配更新を補正することで遅延補正を実現する。
• 計算効率を維持するため、補正機構をASGDフレームワークに統合する。
• 軽量でスケーラブルな設計となっており、大規模ディープラーニングワークロードに適している。

実験結果

リサーチクエスチョン

• RQ1 勾配遅延補正は、分散ディープラーニングにおける非同期SGDの収束性と精度を向上させ得るか？
• RQ2 本稿で提案する遅延補正手法は、同期的SGDおよび標準的な非同期SGDと比較して、学習性能においてどのように差をつけるか？
• RQ3 本手法は、分散環境下でどの程度逐次的SGDの性能に近づけるか？
• RQ4 異なるデータセットにおいて、ヘッセ行列の近似は勾配遅延の影響をどれほど正確にモデル化できるか？

主な発見

• DC-ASGDはCIFAR-10およびImageNetデータセットにおいて、同期的SGDおよび標準的な非同期SGDを上回る性能を発揮する。
• 本手法は逐次的SGDに非常に近いテスト精度を達成し、標準的なASGDで見られる顕著な性能格差を著しく縮小する。
• 実験結果から、効果的な遅延補正のおかげで収束の安定性が向上し、学習プロセスが高速化されていることが示された。
• ヘッセ行列の近似を用いることで、計算コストを著しく増大させることなく、高精度な勾配補正が可能となった。