[논문 리뷰] VirtualFlow: Decoupling Deep Learning Models from the Underlying Hardware

Andrew Or, Haoyu Zhang외 1명|arXiv (Cornell University)|2020. 09. 20.

Advanced Neural Network Applications참고 문헌 51인용 수 4

한 줄 요약

VirtualFlow는 가상 노드 처리를 도입하여 딥러닝 모델을 하드웨어에서 분리함으로써 다양한 하드웨어에서 일관된 훈련, 자원의 탄력성, 이종 훈련을 가능하게 하며, 하이퍼파라미터 조정 없이도 구현된다. 기존 프레임워크에 최소한의 변경만으로도 작업 완료 속도가 최대 48% 빨라지고 처리량이 42% 향상된다.

ABSTRACT

State-of-the-art deep learning systems such as TensorFlow and PyTorch tightly couple the model with the underlying hardware. This coupling requires the user to modify application logic in order to run the same job across a different set of resources, thereby limiting the choice of hardware for a given workload and potentially forcing the user to forgo more efficient hardware configurations. We propose VirtualFlow, a system leveraging a novel abstraction called virtual node processing to decouple the model from the hardware. In each step of training or inference, the batch of input data is split across virtual nodes instead of hardware accelerators (e.g. GPUs and TPUs). Mapping multiple virtual nodes to each accelerator and processing them sequentially effectively time slices the batch, thereby allowing users to reduce the memory requirement of their workloads and mimic large batch sizes on small clusters. Using this technique, VirtualFlow enables many new use cases, such as reproducing training results across different hardware, resource elasticity, and heterogeneous training. In our evaluation, our implementation of VirtualFlow for TensorFlow achieved strong convergence guarantees across different hardware with out-of-the-box hyperparameters, up to 48% lower job completion times with resource elasticity, and up to 42% higher throughput with heterogeneous training.

연구 동기 및 목표

• TensorFlow 및 PyTorch와 같은 프레임워크에서 딥러닝 모델과 하드웨어 간의 강한 결합을 해결하여, 다양한 하드웨어에서 사용자가 하이퍼파라미터를 다시 조정해야 하는 문제를 해결한다.
• 모델 사양이나 하이퍼파라미터를 수정하지 않고도 이종적이고 동적인 하드웨어 환경에서도 일관된 모델 수렴을 보장한다.
• 배치 처리를 가속기 간에 시간 분할함으로써 자원의 탄력성과 이종 훈련을 지원하여 메모리 압박을 줄이고 혼합된 GPU 유형의 효율적 사용을 가능하게 한다.
• 기존 시스템이 자원 조정을 위해 작업을 다시 시작해야 하며 혼합 가속기 유형을 처리할 수 없는 한계를 극복한다.
• 작은 클러스터에서 큰 클러스터에서 사용된 동일한 하이퍼파라미터로 모델을 훈련시킬 수 있도록 함으로써 재현성과 실험의 용이성을 높인다.

제안 방법

• 모델 실행을 물리적 하드웨어에서 분리하기 위해 새로운 추상화인 가상 노드를 도입하며, 각 배치는 동일한 크기의 가상 노드로 분할된다.
• 여러 개의 가상 노드를 동일한 물리적 가속기와 매핑하고 순차적으로 실행함으로써 배치를 시간 분할하여 메모리 사용량을 줄이고 더 큰 배치 크기를 시뮬레이션한다.
• TensorFlow에 최소한의 변경으로 가상 노드 처리를 통합하여, 다양한 하드웨어 설정 간에도 모델 그래프 구조와 하이퍼파라미터를 그대로 유지한다.
• 훈련 중에 가속기당 가상 노드 수를 동적으로 조정함으로써 자원의 탄력성을 실현하며, 작업을 중단하지 않고도 가능하다.
• 동일한 작업 내에서 서로 다른 가속기 유형(V100, TPU 등)에 가상 노드를 매핑함으로써 이종 훈련을 지원하고, 미사용된 자원을 효율적으로 활용한다.
• 가상 노드를 모델 병렬화와 결합하여 대규모 모델 훈련에서 자원 요구량을 줄이고, 데이터 병렬 파이프라인을 순차적 처리로 전환한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 재조정 없이 다양한 하드웨어 환경에서 일관된 수렴을 달성할 수 있는가?
• RQ2 작업 중단 없이 배치 크기를 변경하지 않고도 자원의 탄력성을 확보할 수 있는가?
• RQ3 동일한 훈련 작업에서 동일한 하드웨어가 필요 없이 이종 GPU 클러스터를 효과적으로 활용할 수 있는가?
• RQ4 가상 노드 처리를 통해 메모리 압박을 줄이고 작은 클러스터에서 대규모 배치 훈련을 가능하게 할 수 있는가?
• RQ5 기존 딥러닝 프레임워크에 최소한의 수정으로 가상 노드를 통합하면서도 훈련 안정성을 유지할 수 있는가?

주요 결과

• VirtualFlow는 하이퍼파라미터를 그대로 사용하여 다양한 하드웨어 환경에서 강력한 수렴 보장을 달성하여, 기반 하드웨어에 관계없이 일관된 훈련 결과를 제공한다.
• 자원 탄력성 덕분에 VirtualFlow는 훈련 중단 없이 가상 노드 할당을 동적으로 조정함으로써 작업 완료 시간을 최대 48% 단축시켰다.
• 이종 훈련 환경에서 VirtualFlow는 동일한 작업 내에서 혼합된 GPU 유형을 효율적으로 활용하여 처리량을 최대 42% 향상시켰다.
• 시스템은 다양한 크기와 하드웨어 유형의 클러스터 간에 재현 가능한 훈련을 가능하게 하여 하이퍼파라미터 재조정이 필요 없게 하였다.
• 가상 노드를 통해 배치를 시간 분할함으로써 VirtualFlow는 메모리 압박을 줄여 작은 클러스터에서도 대규모 배치 훈련을 가능하게 하였다.
• 가상 노드를 모델 병렬화와 결합함으로써 평가된 워크로드에서 자원 요구량을 절반으로 줄였으며, 대규모 모델의 더 효율적인 스케일링을 가능케 하였다.