[论文解读] ImageNet/ResNet-50 Training in 224 Seconds.

Hiroaki Mikami, Hisahiro Suganuma+3 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Neural Network Applications参考文献 5被引用 57

一句话总结

该论文提出了一种方法，通过结合批量大小控制和标签平滑技术来稳定大规模小批量训练，并利用二维环面（2D-Torus）全部归约算法最小化梯度同步开销，在大规模GPU集群上仅用122秒即可完成ImageNet/ResNet-50的训练。该方法实现了接近最先进水平的准确率，且性能损失极小，展示了在大规模场景下高效分布式训练的潜力。

ABSTRACT

Scaling the distributed deep learning to a massive GPU cluster level is challenging due to the instability of the large mini-batch training and the overhead of the gradient synchronization. We address the instability of the large mini-batch training with batch-size control and label smoothing. We address the overhead of the gradient synchronization with 2D-Torus all-reduce. Specifically, 2D-Torus all-reduce arranges GPUs in a logical 2D grid and performs a series of collective operation in different orientations. These two techniques are implemented with Neural Network Libraries (NNL). We have successfully trained ImageNet/ResNet-50 in 122 seconds without significant accuracy loss on ABCI cluster.

研究动机与目标

• 解决ResNet-50等深度学习模型在大规模小批量训练中固有的不稳定性问题。
• 降低在大规模GPU集群上分布式训练中梯度同步的通信开销。
• 在保持模型准确率的前提下，实现ImageNet/ResNet-50的端到端训练时间低于两分钟。
• 通过优化的集体通信与训练技术，实现可扩展且稳定的训练。

提出的方法

• 采用批量大小控制以在使用大规模小批量时稳定训练，缓解优化不稳定性。
• 使用标签平滑以提升大规模小批量设置下的泛化能力并减少过拟合。
• 采用二维环面全部归约将GPU组织为逻辑二维网格，实现高效、低延迟的梯度同步。
• 二维环面全部归约通过在多个方向上执行集体操作，减少通信瓶颈。
• 使用神经网络库（NNL）实现并集成所提出的技术到训练流水线中。
• 在ABCI GPU集群上部署并评估系统，以验证其性能与准确率。

实验结果

研究问题

• RQ1 是否可以在不牺牲模型准确率的前提下，有效稳定大规模小批量训练？
• RQ2 在大规模分布式训练中，如何最小化梯度同步的开销？
• RQ3 使用优化的通信与训练技术，ImageNet/ResNet-50的可实现训练时间是多少？
• RQ4 在保持竞争力准确率的前提下，训练速度可提升到何种程度？

主要发现

• 在ABCI GPU集群上，使用所提方法成功在122秒内完成ImageNet/ResNet-50的训练。
• 训练达到了接近最先进水平的准确率，与标准训练相比性能损失极小。
• 批量大小控制与标签平滑的结合有效稳定了大规模小批量训练。
• 二维环面全部归约通信模式显著降低了同步开销。