[논문 리뷰] Accelerating Neural Network Training: A Brief Review

Sahil Nokhwal, Priyanka Chilakalapudi외 4명|arXiv (Cornell University)|2023. 12. 15.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 단일 GPU 환경에서 딥 네ural 네트워크 학습을 가속화하기 위해 그래디언트 누적, 자동 혼합 정밀도(AMP), 핀 메모리의 조합을 제안한다. 이 방법은 학습 시간을 최대 70%까지 단축시키며, 모델 정확도를 유지하거나 향상시킨다. 최적화 조건 하에서 EfficientNet은 CIFAR10 및 CIFAR100 데이터셋에서 가장 뛰어난 성능을 보였다.

ABSTRACT

The process of training a deep neural network is characterized by significant time requirements and associated costs. Although researchers have made considerable progress in this area, further work is still required due to resource constraints. This study examines innovative approaches to expedite the training process of deep neural networks (DNN), with specific emphasis on three state-of-the-art models such as ResNet50, Vision Transformer (ViT), and EfficientNet. The research utilizes sophisticated methodologies, including Gradient Accumulation (GA), Automatic Mixed Precision (AMP), and Pin Memory (PM), in order to optimize performance and accelerate the training procedure. The study examines the effects of these methodologies on the DNN models discussed earlier, assessing their efficacy with regard to training rate and computational efficacy. The study showcases the efficacy of including GA as a strategic approach, resulting in a noteworthy decrease in the duration required for training. This enables the models to converge at a faster pace. The utilization of AMP enhances the speed of computations by taking advantage of the advantages offered by lower precision arithmetic while maintaining the correctness of the model. Furthermore, this study investigates the application of Pin Memory as a strategy to enhance the efficiency of data transmission between the central processing unit and the graphics processing unit, thereby offering a promising opportunity for enhancing overall performance. The experimental findings demonstrate that the combination of these sophisticated methodologies significantly accelerates the training of DNNs, offering vital insights for experts seeking to improve the effectiveness of deep learning processes.

연구 동기 및 목표

• 대규모 데이터셋을 사용할 경우 단일 GPU에서 딥 네ural 네트워크(DNN)의 높은 계산 비용과 긴 학습 시간 문제를 해결하기 위해.
• 이미지 분류 작업에서 최신 기술인 ResNet50, 비전 트랜스포머(ViT), EfficientNet의 성능을 평가하고 최적화하기 위해.
• 핵심 가속화 기법인 그래디언트 누적, 자동 혼합 정밀도, 핀 메모리가 학습 속도와 모델 효율성에 미치는 영향을 조사하기 위해.
• 연구자와 실무자들이 사용할 수 있도록 재현 가능한 오픈소스 최적화 학습 파이프라인을 제공하기 위해.

제안 방법

• 제한된 GPU 메모리 환경에서 더 큰 배치 크기를 시뮬레이션하기 위해 그래디언트 누적 기법을 적용하여, 작은 단계별 그래디언트로 안정적인 학습을 가능하게 하였다.
• PyTorch의 autocast 및 GradScaler를 사용해 자동 혼합 정밀도(AMP)를 적용하여 FP16를 활용한 계산을 가속화하면서도 모델의 안정성과 정확도를 유지하였다.
• CPU와 GPU 간 데이터 전송 속도를 향상시키기 위해 핀 메모리(페이지 잠금 메모리)를 활용하여 데이터 로딩 병목 현상을 줄였다.
• 모든 세 가지 기법을 통합한 단일 학습 파이프라인을 ResNet50, ViT, EfficientNet 등 다양한 DNN 아키텍처에 적용하였다.
• 학습 오케스트레이션을 위해 PyTorch Ignite를 사용하고, CIFAR10 및 CIFAR100 데이터셋에서 정확도, F1 점수, 실행 시간 등의 메트릭을 모니터링하였다.
• 모델 간 최적화를 위해 하이퍼파rameter 튜닝을 수행하였으며, 최적의 학습률, 옵티마이저(Adam, AdamW, SGD), 가중치 감소, 그래디언트 클리핑 설정을 선정하였다.

Figure 1: Grad accumulation

실험 결과

연구 질문

• RQ1 그래디언트 누적, 자동 혼합 정밀도, 핀 메모리가 단일 GPU에서 DNN 학습 속도에 개별적으로 및 종합적으로 미치는 영향은 무엇인가?
• RQ2 최적화된 조건에서 ResNet50, ViT, EfficientNet 중에서 정확도와 학습 시간 간의 최적의 트레이드오프를 달성하는 모델은 무엇인가?
• RQ3 하드웨어 인식 최적화 전략을 적용할 경우, 정확도를 훼손하지 않고 학습 시간을 얼마나 줄일 수 있는가?
• RQ4 제안된 최적화 파이프라인이 다양한 DNN 아키텍처와 데이터셋에 일반화될 수 있는가?

주요 결과

• 최적화 조건에서 EfficientNet은 CIFAR10에서 98%의 정확도, CIFAR100에서 90%의 정확도를 기록하여 ResNet50 및 ViT보다 두 지표에서 모두 뛰어난 성능을 보였다.
• 최적화를 통해 EfficientNet은 CIFAR10에서 1.41시간에서 1.06시간으로, CIFAR100에서 1.42시간에서 1.11시간으로 학습 시간이 21% 감소하였다.
• ViT는 CIFAR10에서 97.1%의 정확도, CIFAR100에서 84.3%의 정확도를 기록하였으며, CIFAR10에서 학습 시간이 4.2시간에서 2.0시간으로, CIFAR100에서 6.2시간에서 2.5시간으로 단축되었다.
• ResNet50는 CIFAR10에서 0.86시간에서 0.46시간으로, CIFAR100에서 0.85시간에서 0.18시간으로 학습 시간이 79% 향상되었다.
• 그래디언트 누적, AMP, 핀 메모리의 조합은 모든 모델에서 최대 70%의 학습 시간 단축을 이끌었으며, 특히 ResNet50와 ViT에서 가장 뚜렷한 성과를 보였다.
• 최적화된 파이프라인이 정확도를 유지하면서도 학습 효율성을 크게 향상시켜, 단일 GPU 환경에서 소프트웨어 수준 최적화의 효과를 입증하였다.

Figure 2: Pin memory