[논문 리뷰] Virtualizing Deep Neural Networks for Memory-Efficient Neural Network Design

Minsoo Rhu, Natalia Gimelshein외 3명|arXiv (Cornell University)|2016. 02. 25.

Advanced Neural Network Applications인용 수 18

한 줄 요약

이 논문은 가상화된 DNN(vDNN)라고 불리는 런타임 메모리 관리자를 제안하며, GPU와 CPU 메모리 간에 활성화 값을 투명하게 오프로딩하여 더 큰 딥 뉴럴 네트워크를 훈련시킬 수 있도록 한다. 이로 인해 메모리 사용량을 최대 83%까지 줄일 수 있고, 단일 12GB GPU에서 배치 크기가 256인 VGG-16을 훈련시킬 수 있으며, 메모리 용량이 일치하는 시스템에 비해 성능 저하가 22%에 그친다.

ABSTRACT

The most widely used machine learning frameworks require users to carefully tune their memory usage so that the deep neural network (DNN) fits into the DRAM capacity of a GPU. This restriction hampers a researcher's flexibility to study different machine learning algorithms, forcing them to either use a less desirable network architecture or parallelize the processing across multiple GPUs. We propose a runtime memory manager that virtualizes the memory usage of DNNs such that both GPU and CPU memory can simultaneously be utilized for training larger DNNs. Our virtualized DNN (vDNN) reduces the average memory usage of AlexNet by 61% and OverFeat by 83%, a significant reduction in memory requirements of DNNs. Similar experiments on VGG-16, one of the deepest and memory hungry DNNs to date, demonstrate the memory-efficiency of our proposal. vDNN enables VGG-16 with batch size 256 (requiring 28 GB of memory) to be trained on a single NVIDIA K40 GPU card containing 12 GB of memory, with 22% performance loss compared to a hypothetical GPU with enough memory to hold the entire DNN.

연구 동기 및 목표

• 훈련 중 딥 뉴럴 네트워크(DNN)의 크기와 배치 크기를 제한하는 GPU의 메모리 용량 한계를 극복하기 위함.
• 제한된 메모리(예: 12GB)를 가진 단일 GPU에서 VGG-16과 같은 더 큰, 더 깊은 DNN을 다중 GPU 설정 없이 훈련시킬 수 있도록 하기 위함.
• GPU와 CPU 메모리 공간 간의 수동 메모리 튜닝과 아키텍처적 타협의 필요성을 줄이기 위해 메모리 관리를 자동화하기 위함.
• 중간 활성화 값을 CPU 메모리로 오프로딩하면서도 높은 훈련 효율을 유지하여 성능 저하를 최소화하기 위함.

제안 방법

• vDNN 시스템은 훈련 중에 덜 자주 액세스되는 활성화 값을 GPU 메모리에서 CPU 메모리로 오프로딩함으로써 동적으로 메모리를 관리한다.
• 메모리 액세스 패턴을 모니터링하고 가상 메모리 추상화를 적용하여 GPU와 CPU 메모리를 통합된 주소 공간으로 간주하는 런타임 메모리 매니저를 사용한다.
• 운영 체제의 가상 메모리와 유사한 페이지 기반 메모리 관리 전략을 사용하여 DNN 활성화 텐서를 GPU와 CPU 메모리 간에 스위핑한다.
• 모델 재작성 없이 기존 딥 러닝 프레임워크와 통합되어 투명한 메모리 가상화를 가능하게 한다.
• 모든 활성화 값이 동시에 필요로 하지 않기 때문에, 액세스 빈도에 따라 텐서의 선택적 에비션과 재활성화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가상 메모리 추상화가 딥 뉴럴 네트워크 훈련에 효과적으로 적용되어 GPU 메모리 압박을 줄일 수 있는가?
• RQ2 성능 비용이 과도하게 높아지지 않도록 CPU 메모리로 활성화 값을 오프로딩함으로써 DNN의 메모리 사용을 어느 정도 줄일 수 있는가?
• RQ3 VGG-16과 같은 메모리 집약적인 큰 모델이 이 방법을 통해 제한된 메모리가 있는 단일 GPU에서 훈련될 수 있는가?
• RQ4 동일 조건에서 가상화된 DNN의 성능은 완전히 GPU에 기반한 버전과 비교해 어떻게 되는가?

주요 결과

• vDNN는 CPU 메모리로의 지능적인 활성화 오프로딩 덕분에 AlexNet의 평균 메모리 사용량을 61% 줄였다.
• OverFeat의 경우, 메모리 절감률이 83%에 이르며, GPU 메모리 프로파일이 크게 낮아졌다.
• vDNN는 단일 NVIDIA K40 GPU(12GB 메모리)에서 28GB의 GPU 메모리가 필요한 배치 크기가 256인 VGG-16을 훈련시킬 수 있었으며, 메모리 용량이 일치하는 시스템에 비해 78%의 성능을 달성했다.
• 메모리 가상화로 인한 성능 손실은 이상적인 충분한 메모리가 있는 GPU에 비해 22%로 측정되었으며, 실용적인 타당성을 입증했다.
• 이 방법은 연구자가 아키텍처적 타협 없이도 더 큰 모델과 배치 크기를 탐색할 수 있도록 한다.