[논문 리뷰] Deep Learning on Mobile Devices - A Review

Yunbin Deng|arXiv (Cornell University)|2019. 03. 21.

Advanced Neural Network Applications참고 문헌 35인용 수 9

한 줄 요약

이 리뷰 논문은 모바일 및 임베디드 장치에서 딥러닝 배포에 대한 종합적인 개요를 제공하며, 하드웨어 가속기, 양자화 및 프루닝과 같은 모델 최적화 기법, 그리고 텐서플로우와 패들-모바일과 같은 주요 딥러닝 프레임워크를 다룹니다. 저연결성, 낮은 대역폭 사용, 개인정보 보호 향상 등의 이점이 강조되며, 의료, 로봇공학, 자율주행 시스템 분야의 시스템 수준 최적화 및 실질적 응용에 대한 연구자와 실무자에게 시의적절한 자료를 제공합니다.

ABSTRACT

Recent breakthroughs in deep learning and artificial intelligence technologies have enabled numerous mobile applications. While traditional computation paradigms rely on mobile sensing and cloud computing, deep learning implemented on mobile devices provides several advantages. These advantages include low communication bandwidth, small cloud computing resource cost, quick response time, and improved data privacy. Research and development of deep learning on mobile and embedded devices has recently attracted much attention. This paper provides a timely review of this fast-paced field to give the researcher, engineer, practitioner, and graduate student a quick grasp on the recent advancements of deep learning on mobile devices. In this paper, we discuss hardware architectures for mobile deep learning, including Field Programmable Gate Arrays, Application Specific Integrated Circuit, and recent mobile Graphic Processing Units. We present Size, Weight, Area and Power considerations and their relation to algorithm optimizations, such as quantization, pruning, compression, and approximations that simplify computation while retaining performance accuracy. We cover existing systems and give a state-of-the-industry review of TensorFlow, MXNet, Mobile AI Compute Engine, and Paddle-mobile deep learning platform. We discuss resources for mobile deep learning practitioners, including tools, libraries, models, and performance benchmarks. We present applications of various mobile sensing modalities to industries, ranging from robotics, healthcare and multi-media, biometrics to autonomous drive and defense. We address the key deep learning challenges to overcome, including low quality data, and small training/adaptation data sets. In addition, the review provides numerous citations and links to existing code bases implementing various technologies.

연구 동기 및 목표

• 연구자, 엔지니어, 실무자들을 대상으로 모바일 및 임베디드 장치에서의 딥러닝에 대한 시의적절하고 종합적인 리뷰를 제공하기 위해.
• 모바일 추론을 위한 FPGAs, ASICs, 모바일 GPU와 같은 하드웨어 플랫폼을 분석하기 위해.
• 모델 크기와 전력 소모를 줄이면서 정확도를 유지하는 데 기여하는 알고리즘 최적화 기법들, 예를 들어 양자화, 프루닝, 모델 압축을 검토하기 위해.
• 모바일 배포에 적합한 텐서플로우, MXNet, 패들-모바일과 같은 주요 딥러닝 프레임워크의 효율성을 평가하기 위해.
• 모바일 응용 프로그램에서 제한된 학습 데이터와 저품질 센서 입력과 같은 주요 과제를 특정하기 위해.

제안 방법

• 크기, 무게, 면적, 전력 소비(SWaP) 제약 조건을 기반으로 FPGAs, ASICs, 모바일 GPU를 포함한 모바일 하드웨어 아키텍처를 조사하고 분류하기 위해.
• 모델 크기와 계산 비용을 줄이기 위한 기법으로 가중치 양자화, 크기 기반 프루닝, 지식 증류를 분석하기 위해.
• 모바일 배포 효율성을 평가하기 위해 텐서플로우 라이트, MXNet, 모바일 AI 컴퓨팅 엔진, 패들-모바일과 같은 추론 프레임워크를 평가하기 위해.
• 재현 가능성과 성능 비교를 지원하기 위해 벤치마킹 도구와 공개된 모델 리포지터리를 검토하기 위해.
• 의료, 로봇공학, 생체 인식, 자율주행 분야의 응용에 연결되는 카메라, 마이크로폰, LiDAR와 같은 모바일 센서 모odalities를 매핑하기 위해.
• 모바일 환경에서 데이터 부족 및 데이터 품질 문제와 같은 과제를 특정하고, 이를 완화하기 위한 전략을 논의하기 위해.

실험 결과

연구 질문

• RQ1 어떤 하드웨어 플랫폼이 모바일 장치에서 효율적인 딥러닝 추론을 가능하게 하는가?
• RQ2 양자화 및 프루닝과 같은 모델 압축 기법이 모바일 배포에서 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 모바일 및 임베디드 추론에 가장 효과적인 딥러닝 프레임워크는 무엇이며, 각각의 장단점은 무엇인가?
• RQ4 현장에서의 딥러닝 추론이 클라우드 기반 추론보다 측정 가능한 이점을 제공하는 주요 응용 분야는 무엇인가?
• RQ5 제한된 또는 저품질의 학습 데이터는 모바일 AI 시스템에서 어떻게 효과적으로 관리될 수 있는가?

주요 결과

• 모바일 GPU와 ASIC과 같은 하드웨어 가속기는 모바일 장치에서 추론 지연 시간과 전력 소모를 크게 줄인다.
• 양자화 및 프루닝 기법을 통해 모델 크기를 최대 90%까지 줄일 수 있으며, 정확도 손실는 최소한으로 유지할 수 있어 자원 제약이 있는 장치에 배포가 가능하다.
• 텐서플로우 라이트와 패들-모바일과 같은 프레임워크는 저메모리 및 저계산 오버헤드로도 현장에서의 배포를 지원하는 최적화된 추론 엔진을 제공한다.
• 현장에서의 추론은 데이터 프라이버시를 향상시키고 통신 대역폭을 줄여, 의료 및 방위 분야의 민감한 응용 분야에 이상적이다.
• 진전이 있음에도 불구하고, 특히 데이터 수집 능력이 제한된 엣지 환경에서 작은 또는 노이즈가 많은 학습 데이터셋을 처리하는 데 과제가 남아 있다.
• 이 리뷰는 모바일 AI 개발을 가속화하는 오픈소스 도구, 사전 학습된 모델, 벤치마크의 성장 중인 생태계를 특정한다.