[論文レビュー] 100-epoch ImageNet Training with AlexNet in 24 Minutes.

Yang You, Zhao Zhang+2 more|arXiv (Cornell University)|Sep 14, 2017

Advanced Neural Network Applications参考文献 14被引用数 38

ひとこと要約

この論文は、大規模バッチのデータ並列同期SGDとLARS最適化アルゴリズムを用いて、AlexNetを用いた100エポックのImageNet学習をたった24分で実現し、バッチサイズを32,000まで効果的にスケーリングしても精度を損なわずに、従来の学習手法と比較して100倍の高速化を達成した。

ABSTRACT

Finishing 90-epoch ImageNet-1k training with ResNet-50 on a NVIDIA M40 GPU takes 14 days. This training requires 10^18 single precision operations in total. On the other hand, the world's current fastest supercomputer can finish 2 * 10^17 single precision operations per second (Dongarra et al 2017, https://www.top500.org/lists/2017/06/). If we can make full use of the supercomputer for DNN training, we should be able to finish the 90-epoch ResNet-50 training in five seconds. However, the current bottleneck for fast DNN training is in the algorithm level. Specifically, the current batch size (e.g. 512) is too small to make efficient use of many processors For large-scale DNN training, we focus on using large-batch data-parallelism synchronous SGD without losing accuracy in the fixed epochs. The LARS algorithm (You, Gitman, Ginsburg, 2017, arXiv:1708.03888) enables us to scale the batch size to extremely large case (e.g. 32K). We finish the 100-epoch ImageNet training with AlexNet in 24 minutes. Same as Facebook's result (Goyal et al 2017, arXiv:1706.02677), we finish the 90-epoch ImageNet training with ResNet-50 in one hour.

研究の動機と目的

• 現代のハードウェアを十分に活用できない小規模バッチサイズに起因する、現在の深層ニューラルネットワーク（DNN）学習の非効率性を解消する。
• 大規模DNN学習におけるアルゴリズム的ボトルネックを克服し、大規模バッチサイズの有効な利用を可能にする。
• AlexNetおよびResNet-50を用いたImageNetでの完全な学習収束を、著しく短縮された時間で達成しつつ、精度を維持する。
• 大規模バッチ学習にLARSを適用することで、固定エポック数における標準学習と同等の精度を達成できることを示し、妥協を伴わずに高速化を実現する。

提案手法

• 多数のプロセッサに跨る学習スケーリングを実現するため、同期的確率的勾配降下法（SGD）を用いた大規模バッチのデータ並列処理を採用する。
• 極めて大きなバッチサイズ（例：32,000）でも安定した学習を可能にするために、LARS（レイヤー単位の適応的学習率スケーリング）最適化アルゴリズムを用いる。
• 勾配と重みのノルムに基づいて各レイヤーごとに学習率を動的に調整することで、大規模バッチ学習時におけるモデル精度を維持する。
• 複数のGPUに跨るハードウェアの利用度を最大化することで計算効率を最適化し、学習時間を数日から数分に短縮する。
• 一貫性のある性能評価のため、AlexNetおよびResNet-50の両モデルに同一の学習設定を適用する。
• AlexNetの場合は100エポック、ResNet-50の場合は90エポックに固定することで、公平な比較と収束評価を保証する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet上でバッチサイズを32,000まで拡大した大規模バッチ学習において、同期的SGDを用いてもモデル精度を維持できるか？
• RQ2 大規模バッチのデータ並列処理とLARSを用いた場合、ImageNet分類の学習で得られる最大の高速化率はどの程度か？
• RQ3 LARS最適化子は、極めて大きなバッチサイズでも最終的な精度を損なわず安定した学習を可能にする仕組みは何か？
• RQ4 DNN学習におけるバッチサイズのボトルネックを排除することで、ハードウェア利用度はどの程度向上できるか？
• RQ5 同じ学習設定で、ハイパーパramータの再チューニングなしに、AlexNetおよびResNet-50の両方で最先端の高速化を達成できるか？

主な発見

• AlexNetを用いた100エポックのImageNet学習が、大規模バッチのデータ並列処理とLARS最適化子を用いて24分で完了した。
• 同じ設定で、ResNet-50の90エポック学習が1時間で完了し、Facebookが報告した結果と同等の効率性を達成した。
• LARSを用いた大規模バッチ学習は、固定エポック数において標準的な小規模バッチ学習と同等のモデル精度を維持した。
• 従来の学習手法と比較して100倍の高速化を達成し、14日間かかるResNet-50の学習ジョブをわずか1時間に短縮した。
• アルゴリズム的ボトルネック（小規模バッチサイズ）を排除することで、高性能ハードウェアを完全に活用できることが実証された。
• 大規模バッチ学習にLARSを適用したアプローチが、収束性や精度を損なわず大規模DNNに適用可能であることが確認された。