[논문 리뷰] On-Device Neural Net Inference with Mobile GPUs

Ju Hyun Lee, Nikolay Chirkov외 7명|arXiv (Cornell University)|2019. 07. 03.

Advanced Neural Network Applications참고 문헌 10인용 수 58

한 줄 요약

본 논문은 Android용 OpenGL ES와 iOS용 Metal을 사용하여 모바일 GPU에서 실시간 온-디바이스 신경망 추론을 가능하게 하는 TensorFlow Lite GPU 백엔드를 제시하고, CPU 대비 2–9×의 더 빠른 추론을 달성하며 GPU 친화적 네트워크 설계 및 메모리 관리 전략을 상세히 다룬다.

ABSTRACT

On-device inference of machine learning models for mobile phones is desirable due to its lower latency and increased privacy. Running such a compute-intensive task solely on the mobile CPU, however, can be difficult due to limited computing power, thermal constraints, and energy consumption. App developers and researchers have begun exploiting hardware accelerators to overcome these challenges. Recently, device manufacturers are adding neural processing units into high-end phones for on-device inference, but these account for only a small fraction of hand-held devices. In this paper, we present how we leverage the mobile GPU, a ubiquitous hardware accelerator on virtually every phone, to run inference of deep neural networks in real-time for both Android and iOS devices. By describing our architecture, we also discuss how to design networks that are mobile GPU-friendly. Our state-of-the-art mobile GPU inference engine is integrated into the open-source project TensorFlow Lite and publicly available at https://tensorflow.org/lite.

연구 동기 및 목표

• 안드로이드 및 iOS 기기에서 실시간 신경망 추론을 시연한다.
• OpenGL ES 3.1+ 및 Metal 9+와 함께 동작하는 GPU 백엔드를 TensorFlow Lite에 통합한다.
• GPU 친화적 데이터 레이아웃과 셰이더 수준 최적화를 제안하여 처리량을 극대화한다.

제안 방법

• TFLite GPU 백엔드의 아키텍처와 델리게이트 기반 그래프 분할을 기술한다.
• 신경망 연산을 구현하고 셰이더 수를 줄이기 위해 연산을 융합하는 Compute Shaders를 사용한다.
• 모바일 GPU의 메모리 접근성과 캐시 활용을 최적화하기 위해 PHWC4 텐서 레이아웃을 채택한다.
• Greedy 및 Minimum-Cost Flow 접근법을 통해 피크 GPU 메모리를 최소화하는 중간 텐서의 메모리 관리 전략을 구현한다.
• 장치별 및 연산 유형별 작업 그룹 크기를 조정하여 계산과 메모리 효율의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 TensorFlow Lite를 사용하여 일반 모바일 기기에서 모바일 GPU가 실시간 또는 거의 실시간 추론을 제공할 수 있는가?
• RQ2 모바일 GPU에서 메모리 입출력과 계산 활용을 최적화하는 데이터 레이아웃 및 셰이더 전략은 무엇인가?
• RQ3 온-디바이스 추론 중 GPU 메모리 풋프린트를 최소화하기 위해 중간 텐서를 어떻게 관리할 수 있는가?
• RQ4 CPU 추론과 비교하여 대표 네트워크와 기기에서 GPU 백엔드가 대기시간에 어떤 영향을 미치는가?

주요 결과

• GPU 백엔드는 다양한 네트워크에서 CPU 추론 대비 평균 2–9×의 속도 향상을 달성했다.
• PHWC4 메모리 레이아웃은 텐서를 4채널 그룹에 맞춰 캐시 누락을 줄이고 GPU 쓰레드의 메모리 공동접속을 개선한다.
• 요소별 연산을 더 무거운 연산과 융합하고 상수 인라이닝 및 아키텍처 인식 셰이더 특화 등을 포함하는 GPU 특정 최적화 파이프라인이 있다.
• 중간 텐서 메모리 관리 전략(Greedy 또는 Minimum-Cost Flow)은 피크 GPU 메모리를 크게 감소시키며, 표 3에 메모리 풋프린트 감소가 제시되어 있다.
• 최적의 작업 그룹 크기는 GPU에 따라 다르다; Adreno GPU에서 튜닝으로 큰 이득을 보이고 Mali GPU는 변화에 더 견고하며, 권장 크기의 실용적 표가 제공된다(표 2).
• TFLite GPU는 기기에 대한 합리적인 커버리지와 성능을 보여주며, iOS 기기는 더 큰 캐시와 OpenGL 대 OpenCL 백엔드를 활용한다.