[논문 리뷰] MobiRNN: Efficient Recurrent Neural Network Execution on Mobile GPU

Qingqing Cao, Niranjan Balasubramanian외 1명|arXiv (Cornell University)|2017. 06. 03.

Context-Aware Activity Recognition Systems참고 문헌 8인용 수 10

한 줄 요약

MobiRNN는 Android의 RenderScript 런타임을 사용하여 스마트폰에서 Recurrent Neural Network(RNN) 추론을 효율적으로 GPU로 오프로드할 수 있도록 최적화된 모바일 프레임워크이다. CPU 전용 실행 대비 활동 인식을 위한 RNN에서 4배 이상의 지연 감소를 달성하며, 더 큰 성능을 내는 데에 적합한 데스크톱 GPU 오프로딩 기술에 비해 모바일 하드웨어에서 성능이 저하되는 것을 우회한다.

ABSTRACT

In this paper, we explore optimizations to run Recurrent Neural Network (RNN) models locally on mobile devices. RNN models are widely used for Natural Language Processing, Machine Translation, and other tasks. However, existing mobile applications that use RNN models do so on the cloud. To address privacy and efficiency concerns, we show how RNN models can be run locally on mobile devices. Existing work on porting deep learning models to mobile devices focus on Convolution Neural Networks (CNNs) and cannot be applied directly to RNN models. In response, we present MobiRNN, a mobile-specific optimization framework that implements GPU offloading specifically for mobile GPUs. Evaluations using an RNN model for activity recognition shows that MobiRNN does significantly decrease the latency of running RNN models on phones.

연구 동기 및 목표

• 개인정보 보호 및 네트워크 연결 제약으로 인해 스마트폰에서 효율적인 현장 내 RNN 추론이 부족한 문제를 해결하기 위해.
• 순차적 의존성으로 인해 기존의 CNN 최적화 모바일 딥러닝 프레임워크가 RNN에 일반화되지 않는 한계를 극복하기 위해.
• 코어와 메모리가 제한된 자원이 부족한 모바일 GPU에서 효율적으로 작동하는 모바일 전용 GPU 오프로딩 솔루션을 설계하기 위해.
• 실제 모바일 디바이스에서 다양한 모델 복잡도와 GPU 워크로드 조건 하에서 GPU 오프로딩 성능을 평가하기 위해.
• 모바일 플랫폼에서 RNN을 효율적으로 배포하기 위한 실용적이고 오픈소스 프레임워크를 제공하기 위해.

제안 방법

• MobiRNN는 수동 병렬화 로직 없이도 Android의 RenderScript 런타임을 사용해 모바일 GPU 코어를 기반으로 RNN 계산을 자동으로 병렬화한다.
• Long Short-Term Memory(LSTM) 네트워크 추론을 모바일 GPU로 오프로드하며, RenderScript의 데이터 병렬 실행 모델을 활용한다.
• 프레임워크는 다층 LSTM 모델을 지원하며, 모델 크기와 장치 제약 조건에 따라 메모리와 계산을 동적으로 관리한다.
• 성능 평가는 센서 입력을 사용한 활동 인식 RNN 모델을 사용하여 실기기(Nexus 5 및 Nexus 6P)에서 수행되었다.
• ADB 스크립트와 GPU API를 통해 GPU 활용도를 모니터링하여 동시 워크로드가 추론 지연에 미치는 영향을 평가한다.
• 구현은 GPU 및 CPU 실행 모드를 모두 포함하며, CPU 모드는 공정한 비교를 위해 RenderScript를 통한 다중 스레딩 실행을 사용한다.

실험 결과

연구 질문

• RQ1 CPU 전용 실행 대비 모바일 디바이스에서 GPU 오프로딩이 RNN 추론 지연을 크게 감소시킬 수 있는가?
• RQ2 더 큰 성능을 내는 데스크톱 GPU 오프로딩 기술이 모바일 GPU에서의 성능을 어떻게 비교할 수 있는가?
• RQ3 모델 복잡도(은닉 유닛 수 또는 레이어 수로 측정)가 GPU 오프로딩의 성능 향상에 어떤 영향을 미치는가?
• RQ4 예를 들어 렲영 등의 동시 GPU 워크로드가 모바일 GPU에서 RNN 추론 성능에 어느 정도의 영향을 미치는가?
• RQ5 다중 스레딩 CPU 실행은 모바일 디바이스에서 RNN 추론에 대한 GPU 오프로딩의 타당한 대안이 될 수 있는가?

주요 결과

• MobiRNN는 모바일 디바이스에서 CPU 전용 실행 대비 RNN 추론 지연을 4배 이상 감소시켜 실시간 성능을 크게 향상시켰다.
• 데스크톱 GPU 오프로딩 기술은 모바일 디바이스에서는 약 4배 성능 저하를 겪으며, 이는 모바일 전용 최적화의 필요성을 강조한다.
• GPU 오프로딩의 성능 향상은 장치 유형, 모델 복잡도, GPU 활용도에 따라 달라지며, 높은 은닉 유닛 수를 가진 모델에서는 메모리 대역폭 제약으로 인해 성능 포화 상태에 도달한다.
• 다중 스레딩 CPU 실행은 GPU 오프로딩의 성능 이점을 최소 70% 이상 달성하여 일부 상황에서는 CPU 병렬화가 강력한 대안임을 시사한다.
• 고도로 활용된 GPU(70% 초과)는 GPU 오프로딩의 이점을 크게 감소시키며, 일부 경우에서는 중부하 GPU 로드 상황에서 CPU 실행이 GPU 실행보다 빠를 수 있다.
• 프레임워크는 GPU 오프로딩이 저조도에서 중간 수준의 GPU 활용도에서 가장 효과적임을 입증하였으며, 실시간 GPU 활용도 기반으로 동적으로 관리되어야 한다.