[論文レビュー] Don't Use Large Mini-Batches, Use Local SGD

Tao Lin, Sebastian U. Stich+2 more|arXiv (Cornell University)|Aug 22, 2018

Advanced Neural Network Applications参考文献 87被引用数 162

ひとこと要約

この論文は大規模バッチ SGD が一般化の問題を抱えることを示し、post-local SGD および hierarchical local SGD を導入して一般化と効率を改善し、標準ベンチマークで大規模バッチのベースラインを上回る。

ABSTRACT

Mini-batch stochastic gradient methods (SGD) are state of the art for distributed training of deep neural networks. Drastic increases in the mini-batch sizes have lead to key efficiency and scalability gains in recent years. However, progress faces a major roadblock, as models trained with large batches often do not generalize well, i.e. they do not show good accuracy on new data. As a remedy, we propose a \emph{post-local} SGD and show that it significantly improves the generalization performance compared to large-batch training on standard benchmarks while enjoying the same efficiency (time-to-accuracy) and scalability. We further provide an extensive study of the communication efficiency vs. performance trade-offs associated with a host of \emph{local SGD} variants.

研究の動機と目的

• 分散トレーニングにおける非常に大きなミニバッチ SGD に関連する一般化の問題を動機づける。
• ワーカー間・ローカルステップ・ミニバッチサイズに跨る local SGD のトレードオフを体系的に研究する。
• 効率を維持しつつ一般化を回復するための post-local SGD を提案する。
• 異種ハードウェア環境でのシステム資源利用を最適化するための階層型 local SGD を提案する。

提案手法

• 平行する各ワーカーがミニバッチ B_loc で H 回の local SGD 更新を行い、平均化する前提の local SGD を定義する（Eq. 2）。
• 通信効率と一般化性能の状況下で local SGD と mini-batch SGD を比較する。
• フェーズ t′ の後に標準のミニバッチ SGD から local SGD に切り替えることで、より良い一般化とともに大きな有効バッチサイズを実現する post-local SGD を導入する。
• 計算-通信のトレードオフを最適化するために、システム階層の複数レベルで local 更新を適用する階層型 local SGD を提案する。
• local 更新を確率的ノイズ注入と関連づけ、トレーニングダイナミクスと一般化への影響を論じる。

(b) Top-1 test accuracy of local SGD (circle) vs. mini-batch SGD (triangle), with same effective batch size $B=HB_{\text{{{loc}}}}$ per worker. The points for a given $K$ have the same communication cost.

実験結果

リサーチクエスチョン

• RQ1 通信制約の下で、time-to-accuracy において local SGD が mini-batch SGD に匹敵するか、あるいは上回るか？
• RQ2 同じ有効バッチサイズで large-batch SGD に対する一般化を local SGD は改善するか？
• RQ3 post-local SGD は大規模バッチに伴う一般化ギャップを効率性を犠牲にすることなく埋めるか？
• RQ4 異種の計算環境で資源利用を最適化するには階層型 local SGD をどう活用できるか？

主な発見

• Local SGD は CIFAR-10/100 および ImageNet において有利な一般化を持つ、通信効率の高い mini-batch SGD の代替として機能し得る。
• Post-local SGD は大規模バッチ訓練の一般化ギャップを埋め、小規模および大規模ベースラインの両方よりも良い一般化を達成できる。
• Post-local SGD は CIFAR で一般化を改善したまま、全訓練で少なくとも1.3倍のスピードアップを提供し、ImageNet では大規模グローバルバッチサイズで強い性能を示す。
• Local SGD はワーカー数が増えるにつれて、通信ラウンドが少ないため、time-to-accuracy のスケールは mini-batch SGD より良い。
• Post-local SGD は符号化ベースの圧縮と組み合わせて、精度を犠牲にすることなく通信効率をさらに向上できる。
• Post-local SGD は大規模バッチ SGD より平坦なミニマをとる傾向があり、これが一般化の向上に寄与する。

(a) Performance of post-local SGD for different numbers of local steps $H$ on $16$ GPUs. $H\!=\!1$ is mini-batch SGD and $KB_{\text{{{loc}}}}\!=\!2048$ .