[논문 리뷰] Horizontally Fused Training Array: An Effective Hardware Utilization Squeezer for Training Novel Deep Learning Models

Shang Wang, Pei–Ming Yang외 3명|arXiv (Cornell University)|2021. 02. 03.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 수평적으로 융합된 훈련 어레이(HFTA)를 제안하며, 반복적인 훈련 작업 동안 동일하거나 유사한 딥러닝 모델을 연산자 수준에서 수평으로 융합하여 하드웨어 활용도를 향상시키는 프레임워크 확장 기능이다. 이는 단일 가속기에서 동시 훈련을 가능하게 하여 GPU 및 TPU에서 표준 단일 작업 훈련 대비 최대 15.1배 높은 훈련 처리량을 달성한다. 이는 수학적으로 동일한 융합된 연산자들을 활용하고 일반적인 GPU 공유 메커니즘의 비효율성을 피하기 때문이다.

ABSTRACT

Driven by the tremendous effort in researching novel deep learning (DL) algorithms, the training cost of developing new models increases staggeringly in recent years. We analyze GPU cluster usage statistics from a top research institute for more insights into the hardware efficiency achieved by typical DL training jobs. Our study reveals that single-accelerator training jobs can dominate the cluster-wide resource consumption when launched repetitively (e.g., for hyper-parameter tuning) while severely under-utilizing the hardware. Fortunately, we observe that such workloads have the following unique characteristics: (i) the models among jobs often have the same types of operators with the same shapes, and (ii) the inter-model horizontal fusion of such operators is mathematically equivalent to other already well-optimized operators. Thus, to help DL researchers and practitioners effectively improve the hardware utilization of their novel DL training workloads, we propose Horizontally Fused Training Array (HFTA). HFTA is a new DL framework extension library that horizontally fuses the models from different repetitive jobs deeply down to operators and then trains them simultaneously on a shared accelerator. To show the generality of our solution, we apply HFTA to six DL models training on state-of-the-art accelerators (GPUs and TPUs). Our results indicate that HFTA is highly effective in improving hardware utilization and achieves up to $15.1 \ imes$ higher training throughput vs. the standard practice of running each job on a separate accelerator.

연구 동기 및 목표

• 반복적인 단일 가속기 딥러닝 훈련 작업에서 심각한 하드웨어 활용도 저하 문제를 해결하기 위해, 클러스터 자원 사용의 대부분을 차지하면서도 낮은 활용도를 보이는 상황을 대비한다.
• 동일한 연산자 유형과 구조를 가진 모델 간의 고유한 워크로드 특성 — 즉, 효과적인 모델 간 수평 융합을 가능하게 하는 특성 — 를 규명한다.
• 기존의 일반적인 GPU 공유 기반 기법에 의존하지 않고도 하드웨어 활용도를 향상시킬 수 있도록, 연산자 수준에서 모델을 융합하는 HFTA를 설계하고 구현한다.
• 다양한 모델(ResNet-18, MobileNet, BERT 등)과 가속기(V100 GPU, TPU v3)를 대상으로 HFTA의 효과를 평가하여 확장성과 성능 향상을 입증한다.

제안 방법

• HFTA는 유사하거나 동일한 모델 아키텍처를 가진 여러 훈련 작업 간에 깊이 있는 수평적 연산자 융합을 수행하며, 이를 공유 가속기 상의 단일 계산 그래프로 통합한다.
• 융합된 연산자는 잘 최적화된 프리미티브(예: 그룹 컨볼루션)와 수학적으로 동일하므로 기존 하드웨어 및 컴파일러(예: XLA, cuDNN)에서 효율적으로 실행될 수 있다.
• 전체 융합과 부분 융합을 모두 지원하여, 모델 아키텍처가 약간 다를 경우에도 탄력적인 적응이 가능하다.
• 모델 코드나 훈련 파이프라인을 수정하지 않고도 간편하게 배포할 수 있도록 기존 딥러닝 프레임워크에 라이브러리 확장 기능으로 통합된다.
• 혼합 정밀도 훈련(FP32 및 AMP)을 지원하며, 융합 중 메모리 초과 오류를 방지하기 위해 동적으로 메모리 관리를 수행한다.
• 하드웨어 활용도를 모니터링하고, 장치당 융합된 모델 수를 자동으로 조정하여 처리량을 극대화하면서도 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 동일하거나 유사한 딥러닝 모델 간의 모델 간 수평 융합이 반복적인 단일 가속기 훈련 워크로드에서 하드웨어 활용도를 크게 향상시킬 수 있는가?
• RQ2 GPU 및 TPU에서 융합된 모델 수가 증가함에 따라 HFTA의 성능은 어떻게 스케일링되는가?
• RQ3 완전한 모델 융합이 불가능할 경우, 특정 레이어나 연산자만 융합하는 부분 융합은 여전히 훈련 처리량 향상에 기여하는가?
• RQ4 다양한 모델과 가속기에서 표준 기법(순차적, 동시, MPS 기반 공유)과 비교했을 때 HFTA의 처리량과 하드웨어 활용도는 어떻게 되는가?

주요 결과

• HFTA는 단일 V100 GPU에서 표준 순차적 훈련 대비 최대 15.1배 높은 훈련 처리량을 달성하여 극적인 효율성 향상을 입증한다.
• V100 GPU에서 HFTA는 순차적 훈련 대비 2.42배에서 3.94배, 동시 훈련 대비 1.67배에서 3.02배, MPS 기반 공유 대비 1.25배에서 2.24배 높은 처리량을 기록한다.
• TPU v3에서 HFTA는 순차적 훈련 대비 최대 6.43배 높은 피크 처리량을 달성하여 TPU에서의 강력한 스케일링 능력을 보여준다.
• 부분 융합 역시 측정 가능한 성능 향상을 제공하며, 레이어별로 점진적으로 융합을 비활성화할수록 처리량이 서서히 감소함을 보여, 조건부 융합조차도 성능 향상에 기여함을 시사한다.
• TPU에서 고수준 융합에서 관찰된 성능 저하는 메모리 압박과 TPU 메모리 관리 시스템 내의 최적화(예: 재생산 또는 스왑)로 인한 것으로 보인다.
• HFTA의 효과는 ResNet-18, MobileNet-V3Large, BERT-Medium, Transformers 등 다양한 모델에서 일관되게 나타나, 일반성과 광범위한 적용 가능성을 확인한다.