[논문 리뷰] DeepLearningKit - an GPU Optimized Deep Learning Framework for Apple's iOS, OS X and tvOS developed in Metal and Swift

Amund Tveit, Torbjorn Morland외 1명|arXiv (Cornell University)|2016. 05. 15.

Green IT and Sustainability참고 문헌 3인용 수 4

한 줄 요약

DeepLearningKit는 Apple의 iOS, macOS, tvOS를 대상으로 한 GPU 가속 기반 딥러닝 프레임워크로, Metal과 Swift로 구현되어 사전 훈련된 합성곱 신경망의 온디바이스 추론을 가능하게 한다. Metal 기반 커널을 최적화하여 효율적인 GPU 실행을 구현함으로써 iPhone 6S에서 최대 10배 빠른 추론(최저 100ms)을 달성하며, Caffe, Theano 등에서 유래한 모델을 재사용 가능한 사전 훈련된 모델의 앱 스토어 모델 제안을 통해 지원한다.

ABSTRACT

In this paper we present DeepLearningKit - an open source framework that supports using pretrained deep learning models (convolutional neural networks) for iOS, OS X and tvOS. DeepLearningKit is developed in Metal in order to utilize the GPU efficiently and Swift for integration with applications, e.g. iOS-based mobile apps on iPhone/iPad, tvOS-based apps for the big screen, or OS X desktop applications. The goal is to support using deep learning models trained with popular frameworks such as Caffe, Torch, TensorFlow, Theano, Pylearn, Deeplearning4J and Mocha. Given the massive GPU resources and time required to train Deep Learning models we suggest an App Store like model to distribute and download pretrained and reusable Deep Learning models.

연구 동기 및 목표

• Apple의 모바일 및 데스크톱 플랫폼에서 사전 훈련된 딥러닝 모델의 효율적인 온디바이스 추론을 가능하게 하기 위해.
• 고성능 추론을 위한 저수준 Metal 프로그래밍을 통한 GPU 활용 최적화를 위해.
• Caffe, Theano, Tensorflow와 같은 인기 있는 딥러닝 프레임워크와의 상호운용성을 위해 모델 임포터를 통한 지원을 위해.
• 다양한 기기 간에 재사용 가능한 사전 훈련된 딥러닝 모델을 배포하기 위한 앱 스토어 유사 모델 제안을 위해.
• FFT 기반 컨볼루션, 저해상도 산술 연산, 모델 압축과 같은 최적화 기법을 탐색하여 성능 및 확장성 향상을 위해.

제안 방법

• Apple 하드웨어에 최적화된 저수준 GPU 프로그래밍 언어인 Metal을 사용하여 GPU 가속 기반 딥러닝 연산자(컨볼루션, 풀링, ReLU, 소프트맥스)를 구현하기 위해.
• Swift를 사용하여 고수준 애플리케이션 통합을 수행하여 iOS, tvOS, macOS 앱에 원활하게 통합할 수 있도록 하기 위해.
• 크로스 플랫폼 호환성과 향후 최적화를 위해 Metal 커널을 OpenCL 및 Vulkan SPIR-V로 이식하기 위해.
• Caffe 및 Theano에서 훈련된 모델을 런타임 로딩을 위한 JSON 직렬화 형식으로 변환하기 위한 모델 임포터 설계를 위해.
• Xcode를 통한 성능 프로파일링을 통해 Metal 드라이버의 버블 neck를 식별하고 저수준 최적화를 이끄는 데 사용하기 위해.
• 메모리 및 에너지 사용량을 줄이기 위해 16비트 부동소수점 계산, 인라인 연산, 근사 행렬 곱셈과 같은 고급 최적화 전략 탐색을 위해.

실험 결과

연구 질문

• RQ1 어떻게 GPU 최적화된 저수준 코드를 사용하여 Apple의 모바일 및 데스크톱 플랫폼에서 온디바이스 딥러닝 추론을 가속화할 수 있는가?
• RQ2 Metal 기반 프레임워크를 사용하여 이전 GPU(예: PowerVR G6430)에서 최신 GPU(예: PowerVR GT7600)로 이행할 경우 성능 향상은 어느 정도 달성될 수 있는가?
• RQ3 Caffe 및 Theano와 같은 다양한 프레임워크 간에 사전 훈련된 딥러닝 모델을 효율적으로 임포트하고 실행할 수 있는 정도는 어느 정도인가?
• RQ4 모바일 기기에서 재사용 가능한 사전 훈련된 딥러닝 모델을 배포하기 위한 중앙 집중식 앱 스토어 모델의 효과성은 어떠한가?
• RQ5 모델 압축, 저해상도 산술 연산, FFT 기반 컨볼루션과 같은 최적화 기법은 추론 속도 및 메모리 효율성 향상에 얼마나 크게 기여할 수 있는가?

주요 결과

• CIFAR-10에서 20층의 NIN 네트워크에 대한 추론 시간은 iPhone 5S에서 약 2초에서 iPhone 6S에서는 100ms 미만으로 감소하여 10배의 성능 향상을 달성했다.
• 이 프레임워크는 이미지 분류 작업에서 사용자 인식 가능한 반응성(100ms 이내)을 달성하여, 잭슨 니엘슨의 즉각적인 시스템 피드백 기준을 충족시켰다.
• 이론적으로 이식 가능성은 OpenCL 및 Vulkan SPIR-V 간의 문법적 및 아키텍처적 유사성 덕분에 Metal 커널을 이식하는 것이 가능하다.
• 모델 압축 기법을 통해 AlexNet과 같은 큰 모델의 크기를 240MB에서 6.9MB로 줄일 수 있었으며, 이는 128GB iPhone에 18,000개 이상의 모델을 저장할 수 있음을 의미한다.
• Caffe로 훈련된 NIN 및 Theano로 훈련된 LeNet에 대한 초도 지원은 다양한 프레임워크 간 호환성과 온디바이스에서의 기능적 추론을 입증했다.
• Metal 드라이버의 성능 저하 요소는 OpenCL/Vulkan SPIR-V를 사용한 저수준 튜닝을 통해 추가적인 향상이 가능하다는 점을 시사한다.