[논문 리뷰] Importance of Data Loading Pipeline in Training Deep Neural Networks

Mahdi Zolnouri, Xinlin Li외 1명|arXiv (Cornell University)|2020. 04. 01.

Advanced Neural Network Applications참고 문헌 18인용 수 6

한 줄 요약

이 논문은 데이터 로딩 파이프라인의 딥 네URAL 네트워크 훈련에 미치는 영향을 조사하며, 이진 데이터 포맷과 NVIDIA DALI를 사용하여 데이터 읽기와 증강을 가속화하는 방법을 비교한다. 이러한 도구를 통해 데이터 로딩을 최적화함으로써 저자들은 훈련을 20–40% 더 빠르게 수행했으며, 특히 데이터 증강으로 인해 I/O 및 처리 오버헤드가 증가하는 대규모 모델 훈련에서 시간을 크게 절약할 수 있었다.

ABSTRACT

Training large-scale deep neural networks is a long, time-consuming operation, often requiring many GPUs to accelerate. In large models, the time spent loading data takes a significant portion of model training time. As GPU servers are typically expensive, tricks that can save training time are valuable.Slow training is observed especially on real-world applications where exhaustive data augmentation operations are required. Data augmentation techniques include: padding, rotation, adding noise, down sampling, up sampling, etc. These additional operations increase the need to build an efficient data loading pipeline, and to explore existing tools to speed up training time. We focus on the comparison of two main tools designed for this task, namely binary data format to accelerate data reading, and NVIDIA DALI to accelerate data augmentation. Our study shows improvement on the order of 20% to 40% if such dedicated tools are used.

연구 동기 및 목표

• 대규모 딥 러닝 훈련에서 특히 계산 집약적인 데이터 증강이 적용될 경우 발생하는 데이터 로딩의 증가하는 병목 현상을 해결하기 위해.
• 이진 데이터 포맷과 NVIDIA DALI와 같은 전용 도구가 실제 응용 프로그램에서 훈련 시간을 줄일 수 있는지 조사하기 위해.
• 이진 데이터 포맷과 NVIDIA DALI의 성능 향상 정도를 비교하여 데이터 로딩 및 증강 파이프라인의 가속화에 기여하는 바를 분석하기 위해.
• 대규모 모델에 대한 전체 훈련 효율성에 대한 효율적인 파이프라인의 영향을 수량화하기 위해.

제안 방법

• 모델 훈련 중 I/O 오버헤드를 줄이기 위해 이진 데이터 포맷을 사용해 훈련 데이터를 더 효율적으로 저장하고 읽기.
• GPU에서 직접적으로 데이터 증강 작업(예: 회전, 노이즈 추가, 크기 조정 등)을 오프로드하고 가속화하기 위해 NVIDIA DALI를 활용.
• 최적화된 데이터 로딩 파이프라인 유무에 따라 모델의 훈련 시간을 벤치마킹하여 성능 향상 정도를 측정.
• 이진 데이터 포맷과 DALI 가속화 파이프라인을 사용했을 때의 종단 간 훈련 스루풋과 GPU 활용도를 비교.
• 실제 딥 러닝 워크로드에서 데이터 로딩 및 증강이 총 훈련 시간에 차지하는 상대적 기여도를 측정.
• 두 도구의 크기 및 데이터 증강 복잡도 수준에 따른 확장성 분석.

실험 결과

연구 질문

• RQ1 대규모 딥 네URAL 네트워크에서 데이터 로딩 지연 시간이 총 훈련 시간에 얼마나 기여하는가?
• RQ2 이진 데이터 포맷이 딥 러닝 훈련에서 데이터 로딩 오버헤드를 얼마나 줄일 수 있는가?
• RQ3 CPU 기반 방법에 비해 NVIDIA DALI는 데이터 증강 작업을 얼마나 효과적으로 가속화하는가?
• RQ4 이진 데이터 포맷과 NVIDIA DALI를 함께 사용했을 때의 통합 성능 향상 정도는 어떠한가?
• RQ5 전용 도구를 사용해 데이터 로딩 파이프라인을 최적화했을 때 훈련 시간의 측정 가능한 속도 향상 정도는 얼마인가?

주요 결과

• 특히 광범위한 데이터 증강이 적용될 경우, 데이터 로딩은 대규모 딥 네URAL 네트워크 훈련에서 상당한 비중을 차지한다.
• 이진 데이터 포맷을 사용하면 I/O 오버헤드가 감소하고 데이터 읽기 속도가 향상되어 더 빠른 훈련 사이클에 기여한다.
• NVIDIA DALI는 데이터 증강 작업을 GPU로 오프로드함으로써 CPU 병목 현상을 최소화한다.
• 이진 데이터 포맷과 NVIDIA DALI를 조합하면 총 훈련 시간이 20–40% 감소한다.
• 복잡한 데이터 증강 파이프라인을 요구하는 실제 응용 프로그램에서 성능 향상 효과가 가장 두드러진다.
• 데이터 로딩 파이프라인을 최적화하면 GPU 활용도가 더 효율적으로 향상되고 더 빠른 모델 수렴 속도를 달성할 수 있다.