[논문 리뷰] Guidelines and Benchmarks for Deployment of Deep Learning Models on Smartphones as Real-Time Apps

Abhishek Sehgal, Nasser Kehtarnavaz|arXiv (Cornell University)|2019. 01. 08.

Advanced Neural Network Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 안드로이드 및 아이폰 플랫폼에서 스마트폰에서 실시간 애플리케이션으로 딥러닝 모델을 구현하기 위한 통합 프레임워크를 제시한다. 오픈소스 도구, 성능 최적화를 위한 다중 스레딩, 정확도, CPU/GPU 사용량, 처리량을 측정하는 벤치마킹 세트를 활용하며, 검증된 실시간 추론 기능을 가진 여섯 개의 CNN 모델을 통해 검증되었다.

ABSTRACT

Deep learning solutions are being increasingly used in mobile applications. Although there are many open-source software tools for the development of deep learning solutions, there are no guidelines in one place in a unified manner for using these tools towards real-time deployment of these solutions on smartphones. From the variety of available deep learning tools, the most suited ones are used in this paper to enable real-time deployment of deep learning inference networks on smartphones. A uniform flow of implementation is devised for both Android and iOS smartphones. The advantage of using multi-threading to achieve or improve real-time throughputs is also showcased. A benchmarking framework consisting of accuracy, CPU/GPU consumption and real-time throughput is considered for validation purposes. The developed deployment approach allows deep learning models to be turned into real-time smartphone apps with ease based on publicly available deep learning and smartphone software tools. This approach is applied to six popular or representative convolutional neural network models and the validation results based on the benchmarking metrics are reported.

연구 동기 및 목표

• 스마트폰에서 실시간 모바일 애플리케이션으로 딥러닝 모델을 구현하기 위한 통합적이고 실용적인 지침의 부족을 해결하기 위해.
• 사전 훈련된 딥러닝 추론 네트워크를 배포하기 위한 표준화된, 크로스플랫폼(안드로이드 및 아이폰) 워크플로우를 수립하기 위해.
• 정확도, 계산 자원 소비(CPU/GPU), 실시간 처리량 메트릭을 사용하여 모델 성능을 평가하고 벤치마킹하기 위해.
• 다중 스레딩이 실시간 운영을 위한 추론 처리량 향상에 어떻게 기여하는지 보여주기 위해.
• 여섯 가지 대표적인 합성곱 신경망 모델을 대상으로 프레임워크의 유효성을 검증하기 위해.

제안 방법

• 공개된 딥러닝 및 모바일 개발 도구를 사용하여 안드로이드 및 아이폰 모두에 동일한 소프트웨어 배포 파이프라인을 설계하였다.
• 모델 추론과 입력 처리를 병렬화하여 실시간 추론 처리량을 향상시키기 위해 다중 스레딩을 구현하였다.
• 세 가지 핵심 메트릭을 포함한 벤치마킹 프레임워크를 수립하였다: 모델 정확도, CPU/GPU 활용도, 실시간 추론 처리량(프레임/초).
• 스마트폰 플랫폼과 호환되는 디바이스 내 추론 엔진을 사용하여 사전 훈련된 합성곱 신경망 모델을 적응 및 배포하였다.
• 정확도 손실이 크지 않은 범위에서 계산 부담을 줄이기 위해 모델 정량화 및 최적화 기법을 통합하였다.
• 실제 스마트폰에서 성능을 평가하여 일반적인 모바일 워크로드 하에서 실시간 운영이 가능함을 확인하였다.

실험 결과

연구 질문

• RQ1 안드로이드 및 아이폰 스마트폰에서 실시간 애플리케이션으로 딥러닝 모델을 배포하기 위한 통합적이고 실용적인 워크플로우는 무엇인가요?
• RQ2 모바일 디바이스에서 실시간 추론 처리량 향상을 위해 다중 스레딩은 어떻게 효과적으로 활용될 수 있나요?
• RQ3 스마트폰에서 딥러닝 모델을 배포할 때 정확도, CPU/GPU 사용량, 추론 속도 사이의 상호 교환 관계는 어떻게 되나요?
• RQ4 소비자용 스마트폰에서 실시간 성능을 달성할 수 있는 대표적인 모델 세트에서 어떤 딥러닝 모델들이 성능을 발휘할 수 있나요?
• RQ5 다양한 최적화 전략은 디바이스 내 추론의 효율성과 지연 시간에 어떤 영향을 미치나요?

주요 결과

• 제안된 배포 프레임워크는 소비자용 스마트폰에서 여섯 가지 다양한 CNN 모델에 대해 실시간 추론을 성공적으로 구현하였으며, 기기 간 일관된 처리량을 달성하였다.
• 다중 스레딩은 실시간 성능을 크게 향상시켰으며, 입력 처리 및 추론 파이프라인에서 프레임/초 단위로 측정 가능한 향상이 있었다.
• 벤치마킹 프레임워크는 정확도와 계산 효율성 사이의 상호 교환 관계를 효과적으로 파악하여 모바일 배포를 위한 모델 선택에 정보 기반 의사결정을 가능하게 하였다.
• CPU 및 GPU 활용도 메트릭은 최적화된 모델이 실시간 제약 조건(예: 30 FPS)을 충족하면서도 낮은 자원 소비를 유지함을 보여주었다.
• 이 접근법은 재현 가능하고 재사용 가능하며, 공개된 도구에만 의존하므로 연구자와 개발자 모두에게 접근 가능하다.
• 본 연구는 표준 오픈소스 툴체인을 사용하여 스마트폰에서 딥러닝 모델의 실시간 배포가 가능하고 실용적임을 입증하였다.