[論文レビュー] Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks

Kazuki Osawa, Yohei Tsuji+4 more|arXiv (Cornell University)|Nov 29, 2018

Advanced Neural Network Applications参考文献 30被引用数 19

ひとこと要約

この論文は、極めて大きなミニバッチサイズ（131,072）を用いたImageNet上でのResNet-50の学習に、Kronecker-Factored Approximate Curvature（K-FAC）を用いた大規模分散型2次最適化手法を提案する。半精度演算、対称的Kronecker因子分解、およびバッチ正規化層のFisher情報行列（FIM）の対角近似を活用することで、100エポック（978イテレーション目）で75%のトップ1精度を達成した。これは、2次最適化手法が1次最適化手法と同等の一般化性能を示しつつ、より高速に収束できることを示している。

ABSTRACT

Large-scale distributed training of deep neural networks suffer from the generalization gap caused by the increase in the effective mini-batch size. Previous approaches try to solve this problem by varying the learning rate and batch size over epochs and layers, or some ad hoc modification of the batch normalization. We propose an alternative approach using a second-order optimization method that shows similar generalization capability to first-order methods, but converges faster and can handle larger mini-batches. To test our method on a benchmark where highly optimized first-order methods are available as references, we train ResNet-50 on ImageNet. We converged to 75% Top-1 validation accuracy in 35 epochs for mini-batch sizes under 16,384, and achieved 75% even with a mini-batch size of 131,072, which took only 978 iterations.

研究の動機と目的

• 大規模分散学習における有効ミニバッチサイズの増大によって生じる一般化ギャップを是正すること。
• K-FACのような2次最適化手法が、適応的学習率を用いたSGDなどの高度に最適化された1次最適化手法と同等の一般化性能をImageNetで達成できることを実証すること。
• 対角FIM近似や古くなったFisher行列更新といった攻撃的な近似技術を用いて、分散環境下でのK-FACの計算およびメモリオーバーヘッドを低減すること。
• 131,072までのミニバッチサイズを用いても高いバリデーション精度を維持し、かつ高速に収束できる学習を可能にすること。

提案手法

• 半精度浮動小数点演算を用いた同期型全ワーカー分散K-FAC最適化手法を実装し、メモリおよび通信オーバーヘッドを低減した。
• 曲率近似におけるKronecker因子の対称性を活用して、重複する計算および通信を最小限に抑えた。
• バッチ正規化層のFisher情報行列（FIM）を対角行列として近似することで、ResNet-50におけるメモリ消費量を1017 MiBから587 MiBに削減した。
• 500イテレーション目以降のFisher行列の更新頻度を低下させることで（古くなったFIM更新）、計算コストを顕著に削減したが、精度に影響を与えないようにした。
• 1,024台のTesla V100 GPUに跨るスケーリングを実現するため、ハイブリッドデータ・モデル並列戦略を採用した。
• FIM更新の動的インターバルを導入：最初の13エポックは1イテレーションごと、以降は20エポックごととして、精度と効率のバランスを取った。

実験結果

リサーチクエスチョン

• RQ1 極めて大きなミニバッチサイズで深層ネットワークを学習する際、K-FACのような2次最適化手法が、学習率スケーリングを用いたSGDなどの1次最適化手法と同等に一般化できるか？
• RQ2 K-FACの計算およびメモリオーバーヘッドを、モデル性能の劣化を伴わずに大規模分散学習環境でどのように低減できるか？
• RQ3 バッチ正規化層のFisher情報行列（FIM）を対角行列として近似することは、学習の安定性および精度にどのような影響を与えるか？
• RQ4 古くなったFisher行列の更新を効果的に使用することで、計算コストを削減しながら収束性および一般化性能を維持できるか？
• RQ5 大規模ミニバッチを用いた学習中に、ResNet-50のFIM構造はどのように変化するか？また、最適化ダイナミクスに関する何らかの知見が得られるか？

主な発見

• K-FAC最適化手法は、ミニバッチサイズ131,072で978イテレーション（100エポック）でImageNet上でのResNet-50で75.0%のトップ1バリデーション精度を達成し、このような大規模バッチにおける最先端のパフォーマンスを示した。
• ミニバッチサイズが16,384までに達する場合、35エポックで75.2%の精度に収束したが、これは1次最適化手法が同程度の精度に到達するのにはより多くのエポックを要するのと比較して顕著に高速であった。
• バッチ正規化層のFIMに対して対角近似を適用することで、メモリ使用量が1017 MiBから587 MiBに削減されたが、学習精度に顕著な影響は認められなかった。
• 13エポック以降は20エポックごとに更新する古くなったFIM更新を採用したが、131,072のミニバッチサイズでも75%の精度を維持した。
• 1,024台のTesla V100 GPUを用いて10分間で74.9%のトップ1精度を達成し、既存のSGDベースの手法に比べて学習速度およびスケーラビリティにおいて優れた性能を示した。
• 本研究では、2次最適化手法が極めて大きなミニバッチサイズでもSGDほど一般化性能が劣ることはないことが示され、従来の仮定に疑問を呈した。