[논문 리뷰] Speeding up Deep Learning with Transient Servers

Shijian Li, Robert J. Walls외 2명|arXiv (Cornell University)|2019. 02. 28.

Advanced Neural Network Applications참고 문헌 38인용 수 4

한 줄 요약

이 논문은 일시적인 GPU 서버—즉각적으로 취소될 수 있는 저비용의 동적 가용 클라우드 인스턴스—를 사용하여 분산 딥 러닝 훈련을 가속화하면서 비용을 절감하는 방법을 제안한다. 대규모 실증 연구를 통해 저비용의 온디맨드 서버 대비 최대 7.7배의 성능 향상과 62.9%의 비용 절감을 입증하였으며, 모델 정확도에 미치는 영향은 최소한이었고, 일시적 워크로드를 효과적으로 지원하기 위해 분산 훈련 프레임워크에 필요한 핵심 설계 변경 사항을 규명하였다.

ABSTRACT

Distributed training frameworks, like TensorFlow, have been proposed as a means to reduce the training time of deep learning models by using a cluster of GPU servers. While such speedups are often desirable---e.g., for rapidly evaluating new model designs---they often come with significantly higher monetary costs due to sublinear scalability. In this paper, we investigate the feasibility of using training clusters composed of cheaper transient GPU servers to get the benefits of distributed training without the high costs. We conduct the first large-scale empirical analysis, launching more than a thousand GPU servers of various capacities, aimed at understanding the characteristics of transient GPU servers and their impact on distributed training performance. Our study demonstrates the potential of transient servers with a speedup of 7.7X with more than 62.9% monetary savings for some cluster configurations. We also identify a number of important challenges and opportunities for redesigning distributed training frameworks to be transient-aware. For example, the dynamic cost and availability characteristics of transient servers suggest the need for frameworks to dynamically change cluster configurations to best take advantage of current conditions.

연구 동기 및 목표

• 일시적인 GPU 서버를 사용한 분산 딥 러닝 훈련의 실현 가능성과 성능을 평가하기 위해.
• 일시적 서버와 온디맨드 서버를 비교할 때 훈련 속도, 비용, 모델 정확도 간의 상호 교환 관계를 정량화하기 위해.
• 분산 훈련 프레임워크가 일시적 워크로드를 효과적으로 지원하기 위해 필요한 주요 과제와 설계 기회를 규명하기 위해.
• 동적 클러스터 구성, 이질적 자원, 변동성이 큰 가격 정책이 일시적 훈련 환경에서 어떻게 활용될 수 있는지 탐색하기 위해.

제안 방법

• 다양한 구성에서 1,000대 이상의 일시적 및 온디맨드 GPU 서버를 활용한 대규모 실증 평가를 수행하였다.
• ResNet-32를 CIFAR-10에서 훈련시키며 일시적 및 온디맨드 GPU 클러스터를 사용한 훈련 시간, 비용, 정확도를 측정하였다.
• 32개의 클러스터에서 다양한 취소율(r = 0, 1, 2)을 시뮬레이션하여 서버 취소가 미치는 영향을 평가하였다.
• 이상적 기울기의 영향을 분리하기 위해 비동기 훈련 환경에서 성능를 분석하였다.
• 일시적 및 온디맨드 GPU의 수와 종류가 다른 구성에서의 훈련 결과를 비교하였다.
• 동적 스케일링, 융통성 있는 체크포인팅, 탄력성 등 일시적 서버 활용도를 향상시키기 위한 프레임워크 수준의 요구사항을 규명하였다.

실험 결과

연구 질문

• RQ1 일시적 GPU 서버를 사용할 경우 온디맨드 서버 대비 분산 딥 러닝 훈련에서 성능 및 비용 측면에서 어떤 이점이 있는가?
• RQ2 서버 취소는 분산 훈련에서 훈련 시간, 비용, 모델 정확도에 어떤 영향을 미치는가?
• RQ3 일시적 서버를 통해 모델 품질을 유지하면서 더 빠른 훈련을 수행하고 더 낮은 금전적 비용을 확보할 수 있는가?
• RQ4 분산 훈련 프레임워크에서 일시적 서버 워크로드를 효과적으로 지원하기 위해 어떤 아키텍처 변경이 필요한가?
• RQ5 통신 지연과 일시적 서버의 지리적 다양성은 훈련 성능에 어떤 영향을 미치는가?

주요 결과

• 4개의 일시적 K80 GPU를 사용할 경우 단일 온디맨드 K80 GPU 대비 3.72배의 성능 향상과 62.9%의 비용 절감을 달성하였다.
• 모든 구성에서 관찰된 최대 성능 향상은 7.7배였으며, 이는 온디맨드 훈련과 유사한 정확도를 유지하였다.
• 4개의 일시적 GPU를 사용할 경우 정확도는 약간 낮게 나타났다(91.23% 대 93.07%)지만, 이는 일시적 서버 특성 때문이 아니라 비동기 훈련 때문이었다.
• 128개의 일시적 서버 중 13개가 취소되었음에도(32개 클러스터 중 11개), 훈련은 성공적으로 완료되었고 성능 저하도 최소한이었다.
• 취소된 워커가 있는 경우 평균 정확도가 91.83%로, 취소가 없는 경우(91.06%)보다 높게 나타나, 동적 워커 교체가 잠재적인 이점을 줄 수 있음을 시사했다.
• 현재 프레임워크는 동적 스케일링과 융통성 있는 체크포인팅에 대한 내장 지원이 부족하여, 분산 훈련 시스템에서 일시적 환경을 고려한 설계가 필요하다.