[논문 리뷰] Smart at what cost? Characterising Mobile Deep Neural Networks in the wild

Mário Almeida, Stefanos Laskaridis외 4명|arXiv (Cornell University)|2021. 09. 28.

Green IT and Sustainability참고 문헌 46인용 수 5

한 줄 요약

이 논문은 실생활 앤드로이드 앱 내에서 딥 뉴럴 네트워크(DNN)의 추출, 벤치마킹, 분석을 자동화하는 도구인 gaugeNN을 제시한다. 16,000개 이상의 인기 구글 플레이 앱을 분석한 결과, 최신 DNN 연구 성과와 실제 모바일 배포 간에 뚜렷한 격차가 있음을 밝혀냈으며, 대부분의 모델이 하드웨어 가속기 기능을 충분히 활용하지 못하고 있으며 에너지 소비와 지연 시간 비용이 큰 CPU 기반 추론에 의존하고 있음을 확인했다.

ABSTRACT

With smartphones' omnipresence in people's pockets, Machine Learning (ML) on mobile is gaining traction as devices become more powerful. With applications ranging from visual filters to voice assistants, intelligence on mobile comes in many forms and facets. However, Deep Neural Network (DNN) inference remains a compute intensive workload, with devices struggling to support intelligence at the cost of responsiveness.On the one hand, there is significant research on reducing model runtime requirements and supporting deployment on embedded devices. On the other hand, the strive to maximise the accuracy of a task is supported by deeper and wider neural networks, making mobile deployment of state-of-the-art DNNs a moving target. In this paper, we perform the first holistic study of DNN usage in the wild in an attempt to track deployed models and match how these run on widely deployed devices. To this end, we analyse over 16k of the most popular apps in the Google Play Store to characterise their DNN usage and performance across devices of different capabilities, both across tiers and generations. Simultaneously, we measure the models' energy footprint, as a core cost dimension of any mobile deployment. To streamline the process, we have developed gaugeNN, a tool that automates the deployment, measurement and analysis of DNNs on devices, with support for different frameworks and platforms. Results from our experience study paint the landscape of deep learning deployments on smartphones and indicate their popularity across app developers. Furthermore, our study shows the gap between bespoke techniques and real-world deployments and the need for optimised deployment of deep learning models in a highly dynamic and heterogeneous ecosystem.

연구 동기 및 목표

• 다양한 안드로이드 기기에서 실생활 모바일 애플리케이션 내 DNN 배포 현황을 이해하는 것.
• 최신 DNN 연구와 실제 인기 앱에서의 모델 배포 방식 간의 괴리점을 규명하는 것.
• 이종 모바일 하드웨어에서 배포된 DNN의 런타임 성능, 지연 시간, 에너지 소비를 측정하는 것.
• 실제 모바일 앱에서 모델 최적화 기법, 하드웨어 가속기, 클라우드 오프로딩의 사용 여부를 평가하는 것.
• 개발자 및 프레임워크 설계자들이 모바일 DNN의 효율성과 이식 가능성을 향상시키기 위한 실용적 지침을 제공하는 것.

제안 방법

• 다양한 프레임워크와 플랫폼을 통해 설치된 안드로이드 앱에서 DNN 모델을 추출하고 분석하며 벤치마킹하는 데 사용할 수 있는 자동화된 도구체인인 gaugeNN을 개발했다.
• 12개월 간격으로 두 차례 캡처한 스크린샷을 활용해, 16,000개 이상의 인기 구글 플레이 스토어 앱에 대해 정적 및 동적 분석을 수행했다.
• 다양한 기기 티어와 세대를 아우르는 기기들에서 추론 지연 시간과 에너지 소비를 측정했다.
• 모델 아키텍처, 레이어 연산, 정밀도 최소화, 정규화, 하드웨어 가속기(예: NPU, DSP) 사용 여부 등으로 DNN 모델을 분류했다.
• 클라우드 기반 API로의 오프로딩 패턴을 분석하고, 경험 품질, 프라이버시, 비용 측면에서의 상충 관계를 평가했다.
• 최적화 툴킷(예: NNAPI, TFLite)의 가용성 및 도입률을 평가하고, 이들이 모델 효율성에 미치는 영향을 분석했다.

실험 결과

연구 질문

• RQ1 실생활 모바일 앱에서 최신 DNN 아키텍처와 최적화 기법이 얼마나 널리 배포되고 있는가?
• RQ2 DNN 추론 성능과 에너지 소비는 다양한 기기 티어와 세대 간에 어떻게 달라지는가?
• RQ3 배포된 모델에서 하드웨어 가속기 사용(예: NPU, DSP)과 CPU 전용 추론의 비율은 어느 정도인가?
• RQ4 DNN 추론을 위한 클라우드 오프로딩은 얼마나 퍼진 상태이며, 이는 지연 시간, 프라이버시, 비용 측면에서 어떤 상충 관계를 초래하는가?
• RQ5 지난 1년 간 모바일 앱 내 DNN 도입 추세는 어떠한가? 모델 특성은 어떻게 변화하고 있는가?

주요 결과

• 가용한 전용 가속기(예: NPU, DSP)가 존재함에도 불구하고, 80퍼센트 이상의 배포된 DNN이 CPU 전용으로 실행되고 있다.
• 모델의 12퍼센트만이 하드웨어 전용 가속기를 활용하고 있어, 모바일 SoC의 기능을 크게 활용하지 못하고 있음을 시사한다.
• 22퍼센트의 앱에서 클라우드 오프로딩이 사용되고 있으며, 이는 기기 간 일관된 성능을 제공하지만 프라이버시와 네트워크 의존도 증가를 수반한다.
• 에너지 소비는 점점 더 큰 문제로 대두되고 있으며, 특히 자원이 제한된 기기에서 배터리 고갈에 기여하고 있다.
• 여러 DNN을 동시에 실행하는 '모델 공존' 현상이 점점 흔해지고 있어, 시스템 수준의 자원 관리에 새로운 과제를 안겨주고 있다.
• 최신 연구 성과(예: 효율적인 아키텍처, 정밀도 최소화)와 실생활 배포 간 격차가 뚜렷하며, 대부분의 앱이 오래되었거나 최적화되지 않은 모델을 사용하고 있음을 확인했다.