[論文レビュー] Smart at what cost? Characterising Mobile Deep Neural Networks in the wild

Mário Almeida, Stefanos Laskaridis+4 more|arXiv (Cornell University)|Sep 28, 2021

Green IT and Sustainability参考文献 46被引用数 5

ひとこと要約

本稿では、実世界のAndroidアプリにおける深層ニューラルネットワーク（DNN）の抽出、ベンチマーク、分析を自動化するためのツールであるgaugeNNを提示する。16,000を超える人気のあるGoogle Playアプリを分析した結果、最先端のDNN研究と実際のモバイルデプロイメントの間に顕著なギャップが存在することが判明した。多くのモデルがハードウェアアクセラレータを十分に活用せず、エネルギー消費や遅延コストが高くなるにもかかわらず、CPUによる推論に依存していることが明らかになった。

ABSTRACT

With smartphones' omnipresence in people's pockets, Machine Learning (ML) on mobile is gaining traction as devices become more powerful. With applications ranging from visual filters to voice assistants, intelligence on mobile comes in many forms and facets. However, Deep Neural Network (DNN) inference remains a compute intensive workload, with devices struggling to support intelligence at the cost of responsiveness.On the one hand, there is significant research on reducing model runtime requirements and supporting deployment on embedded devices. On the other hand, the strive to maximise the accuracy of a task is supported by deeper and wider neural networks, making mobile deployment of state-of-the-art DNNs a moving target. In this paper, we perform the first holistic study of DNN usage in the wild in an attempt to track deployed models and match how these run on widely deployed devices. To this end, we analyse over 16k of the most popular apps in the Google Play Store to characterise their DNN usage and performance across devices of different capabilities, both across tiers and generations. Simultaneously, we measure the models' energy footprint, as a core cost dimension of any mobile deployment. To streamline the process, we have developed gaugeNN, a tool that automates the deployment, measurement and analysis of DNNs on devices, with support for different frameworks and platforms. Results from our experience study paint the landscape of deep learning deployments on smartphones and indicate their popularity across app developers. Furthermore, our study shows the gap between bespoke techniques and real-world deployments and the need for optimised deployment of deep learning models in a highly dynamic and heterogeneous ecosystem.

研究の動機と目的

• 多様なAndroidデバイスにおける実世界のモバイルアプリケーションにおけるDNNデプロイメントの現状を理解すること。
• 最先端のDNN研究と人気アプリにおける実際のモデルデプロイメント実践の間の乖離を特定すること。
• 多様なモバイルハードウェア上で展開されたDNNの実行時パフォーマンス、遅延、エネルギー消費を測定すること。
• 実際のモバイルアプリケーションにおけるモデル最適化技術、ハードウェアアクセラレータ、クラウドオフロードの使用状況を評価すること。
• 開発者およびフレームワーク設計者によるモバイルDNNの効率性とポータビリティを向上させるための実用的ガイドラインを提供すること。

提案手法

• 複数のフレームワークとプラットフォームをカバーする、インストール済みAndroidアプリからDNNモデルを抽出・分析・ベンチマーク化するための自動化ツールチェーンであるgaugeNNを開発した。
• 12か月間隔で2回のスナップショットを取得した16,000以上の人気あるGoogle Playストoreアプリに対して、静的および動的解析を実施した。
• 複数のティアと世代にわたる多様なデバイスで、推論遅延およびエネルギー消費を測定した。
• アーキテクチャ、レイヤー演算、量子化、剪定、ハードウェアアクセラレータ（例：NPUs、DSPs）の使用状況に基づいてDNNモデルを分類した。
• クラウドベースのAPIへのオフロードパターンを分析し、体験品質、プライバシー、コストのトレードオフを評価した。
• 最適化ツールキット（例：NNAPI、TFLite）の利用可能性と採用状況を評価し、モデル効率性への影響を検証した。

実験結果

リサーチクエスチョン

• RQ1 実世界のモバイルアプリは、最先端のDNNアーキテクチャおよび最適化技術をどの程度採用しているか？
• RQ2 DNN推論パフォーマンスおよびエネルギー消費は、異なるデバイスティアーや世代によってどのように変動するか？
• RQ3 NPUs、DSPsなどのハードウェアアクセラレータの使用頻度とCPUオンリーデプロイの頻度はそれぞれどの程度か？
• RQ4 DNN推論のクラウドオフロードはどの程度一般的か？その際の遅延、プライバシー、コストのトレードオフは何か？
• RQ5 過去1年間でモバイルアプリにおけるDNNの採用傾向はどのように変化したか？また、モデルの特徴はどのように進化しているか？

主な発見

• 人気アプリにデプロイされたDNNの80％以上が、NPUsやDSPsといった専用アクセラレータの存在にもかかわらず、CPUオンリーモードで実行されている。
• ハードウェア固有のアクセラレータを活用しているモデルはわずか12％にとどまり、モバイルSoCの能力が著しく未活用されていることが示された。
• 22％のアプリでクラウドオフロードが使用されており、デバイス間で一貫したパフォーマンスを提供しているが、プライバシーやネットワーク依存性のコストが伴う。
• エネルギー消費は深刻な懸念事項となっており、特にリソース制限のあるデバイスではDNNがバッテリーの消耗に大きく寄与している。
• 複数のDNNを同時に実行する「モデル共存」は急速に広がっており、システムレベルのリソース管理に新たな課題をもたらしている。
• 効率的なアーキテクチャや量子化といった研究の進展と実世界のデプロイメントの間には顕著なギャップがあり、多くのアプリが古く、最適化が不十分なモデルを使用していることが判明した。