[论文解读] Accelerating Neural Network Training: A Brief Review

Sahil Nokhwal, Priyanka Chilakalapudi+4 more|arXiv (Cornell University)|Dec 15, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本文提出将梯度累积、自动混合精度（AMP）和固定内存（Pin Memory）相结合，以加速单张GPU上的深度神经网络训练。该方法显著缩短了训练时间——最高可减少70%——同时保持或提升模型准确率，其中在优化条件下，EfficientNet在CIFAR10和CIFAR100数据集上表现最佳。

ABSTRACT

The process of training a deep neural network is characterized by significant time requirements and associated costs. Although researchers have made considerable progress in this area, further work is still required due to resource constraints. This study examines innovative approaches to expedite the training process of deep neural networks (DNN), with specific emphasis on three state-of-the-art models such as ResNet50, Vision Transformer (ViT), and EfficientNet. The research utilizes sophisticated methodologies, including Gradient Accumulation (GA), Automatic Mixed Precision (AMP), and Pin Memory (PM), in order to optimize performance and accelerate the training procedure. The study examines the effects of these methodologies on the DNN models discussed earlier, assessing their efficacy with regard to training rate and computational efficacy. The study showcases the efficacy of including GA as a strategic approach, resulting in a noteworthy decrease in the duration required for training. This enables the models to converge at a faster pace. The utilization of AMP enhances the speed of computations by taking advantage of the advantages offered by lower precision arithmetic while maintaining the correctness of the model. Furthermore, this study investigates the application of Pin Memory as a strategy to enhance the efficiency of data transmission between the central processing unit and the graphics processing unit, thereby offering a promising opportunity for enhancing overall performance. The experimental findings demonstrate that the combination of these sophisticated methodologies significantly accelerates the training of DNNs, offering vital insights for experts seeking to improve the effectiveness of deep learning processes.

研究动机与目标

• 为解决在单张GPU上训练深度神经网络（DNN）时计算成本高、训练时间长的问题，特别是面对大规模数据集时。
• 评估并优化三种最先进模型——ResNet50、视觉Transformer（ViT）和EfficientNet——在图像分类任务上的性能。
• 研究关键加速技术（梯度累积、自动混合精度和固定内存）对训练速度和模型效率的影响。
• 为研究人员和实践者提供可复现的、开源的优化训练流水线实现。

提出的方法

• 采用梯度累积在有限GPU内存下模拟更大的批量大小，通过较小的每步梯度实现稳定训练。
• 利用PyTorch的autocast和GradScaler应用自动混合精度（AMP），通过FP16加速计算，同时保持模型稳定性和准确率。
• 使用固定内存（页锁定内存）加速CPU与GPU之间的数据传输，减少数据加载瓶颈。
• 将上述三种技术整合到统一的训练流水线中，应用于包括ResNet50、ViT和EfficientNet在内的多种DNN架构。
• 使用PyTorch Ignite进行训练编排，并在CIFAR10和CIFAR100数据集上监控准确率、F1分数和执行时间等指标。
• 对各模型进行超参数调优，选择最优学习率、优化器（Adam、AdamW、SGD）、权重衰减和梯度裁剪。

Figure 1: Grad accumulation

实验结果

研究问题

• RQ1 梯度累积、自动混合精度和固定内存在单张GPU上对DNN训练速度的单独与综合影响如何？
• RQ2 在使用所提技术优化后，ResNet50、ViT和EfficientNet中哪一个模型在准确率与训练时间之间实现了最佳平衡？
• RQ3 通过应用硬件感知优化策略，训练时间最多可减少多少，而不会损害模型准确率？
• RQ4 所提出的优化流水线是否可泛化至不同DNN架构和数据集？

主要发现

• EfficientNet在CIFAR10上达到最高准确率98%，在CIFAR100上达到90%，在两项指标上均优于ResNet50和ViT。
• 经优化后，EfficientNet在CIFAR10上训练时间由1.41小时减少至1.06小时，在CIFAR100上由1.42小时减少至1.11小时，减少21%。
• ViT在CIFAR10上达到97.1%的准确率，在CIFAR100上达到84.3%，训练时间在CIFAR10上由4.2小时减少至2.0小时，在CIFAR100上由6.2小时减少至2.5小时。
• ResNet50在CIFAR10上训练时间由0.86小时减少至0.46小时，在CIFAR100上由0.85小时减少至0.18小时，优化后提升79%。
• 梯度累积、AMP和固定内存的组合使各模型的训练时间最多减少70%，其中ResNet50和ViT的提升最为显著。
• 优化后的流水线在保持模型准确率的同时显著提升了训练效率，证明了在单GPU系统上软件级优化的有效性。

Figure 2: Pin memory