[論文レビュー] Which Design Decisions in AI-enabled Mobile Applications Contribute to Greener AI?

Roger Creus Castanyer, Silverio Martínez‐Fernández+1 more|arXiv (Cornell University)|Sep 28, 2021

IoT and Edge/Fog Computing被引用数 6

ひとこと要約

本研究は、AIを搭載したモバイルアプリケーションにおける設計意思決定がエネルギー効率およびパフォーマンスに与える影響を調査し、特にパrameter数が畳み込みニューラルネットワークにおけるCPU使用量を指数関数的に増加させることを明らかにした。一方で、精度の向上は比例的ではなかった。著者らは、最小限の規模から始め、必要に応じてのみスケーリングを行うべきであると提言し、モバイルプラットフォーム上で体系的な実験を通じて、グリーンAIを促進するためのプロファイリングツールの有効性を検証した。

ABSTRACT

Background: The construction, evolution and usage of complex artificial intelligence (AI) models demand expensive computational resources. While currently available high-performance computing environments support well this complexity, the deployment of AI models in mobile devices, which is an increasing trend, is challenging. Mobile applications consist of environments with low computational resources and hence imply limitations in the design decisions during the AI-enabled software engineering lifecycle that balance the trade-off between the accuracy and the complexity of the mobile applications. Objective: Our objective is to systematically assess the trade-off between accuracy and complexity when deploying complex AI models (e.g. neural networks) to mobile devices, which have an implicit resource limitation. We aim to cover (i) the impact of the design decisions on the achievement of high-accuracy and low resource-consumption implementations; and (ii) the validation of profiling tools for systematically promoting greener AI. Method: This confirmatory registered report consists of a plan to conduct an empirical study to quantify the implications of the design decisions on AI-enabled applications performance and to report experiences of the end-to-end AI-enabled software engineering lifecycle. Concretely, we will implement both image-based and language-based neural networks in mobile applications to solve multiple image classification and text classification problems on different benchmark datasets. Overall, we plan to model the accuracy and complexity of AI-enabled applications in operation with respect to their design decisions and will provide tools for allowing practitioners to gain consciousness of the quantitative relationship between the design decisions and the green characteristics of study.

研究の動機と目的

• AIを搭載したモバイルアプリケーションにおけるモデルの精度と計算複雑性のトレードオフを体系的に評価すること。
• AIモデルアーキテクチャおよび設定におけるどの設計意思決定がリソース消費を増加させ、エネルギー効率を低下させる要因となるかを特定すること。
• プロファイリングツールがモバイルデバイスにおけるAIアプリケーションパフォーマンスの監視および最適化にどの程度効果的であるかを検証すること。
• 必要な精度を損なわずに、軽量で効率的なモデルへの道筋を示すことで、グリーンAIを推進すること。
• 今後のモバイルAI効率に関する研究を支援するため、オープンで再現可能なデータセットおよび手法を提供すること。

提案手法

• Android StudioおよびUnity3Dを用いて、モバイルプラットフォーム上で画像分類およびテキスト分類のためのニューラルネットワークを実装した。
• 6つのベンチマークデータセット（視覚：GTSRB、MNIST、CIFAR；テキスト：Sentiment140、IMDB、Amazon Reviews）を用いてモデルを学習した。
• CPU使用時間、ストレージ重み、モデル精度といったリアルタイムメトリクスを、多様なモデル構成においてプロファイリングした。
• モデルアーキテクチャ（例：ResNet、Transformer、全結合層）、深さ、パラメータ数といった独立変数を体系的に変化させた。
• 設計選択とパフォーマンスメトリクスとの間のスケーリング傾向および相関関係を特定するため、統計解析を実施した。
• 再現可能性およびオープンサイエンス基準を確保するため、学習コード、アプリコード、プロファイリングデータ、解析スクリプトを含む包括的なオープンソースの再現パッケージを公開した。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのパラメータ数が、モバイルAIアプリケーションにおけるCPU使用時間およびストレージ重みに与える影響は何か？
• RQ2 モデルアーキテクチャ（例：ResNet対単純なCNN）が、モバイルデバイス上でのAI推論のベースライン計算コストにどの程度影響を及えるか？
• RQ3 異なるデータセットが、モバイルデプロイにおけるAIモデルのスケーリング特性および精度にどのように影響を及えるか？
• RQ4 プロファイリングツールは、モデル複雑性とリソース消費のトレードオフを信頼性高く捉え、定量化できるか？
• RQ5 開発者がよりエネルギー効率的、すなわち「グリーン」なAIモデルをモバイルアプリケーションに導入するにあたり、どのような設計実践が有効か？

主な発見

• 畳み込みニューラルネットワークでは、CPU使用時間がパラメータ数に伴い指数関数的に増加するが、全結合層では対数的に増加する。
• ストレージ重みはパラメータ数に比例して線形的に増加するが、モデル精度はパラメータの増加に比例して向上しない。
• 残差ネットワーク（ResNets）およびトランスフォーマーは、標準的なCNNやRNNと比較して顕著に高いベースラインCPU使用量を示す。
• データセットの選択は、AIモデルのスケーリング特性および精度に強く影響を与え、文脈依存のパフォーマンストレードオフを示している。
• 本研究は、プロファイリングツールがパフォーマンスメトリクスを体系的に捉えることができることを確認した。これにより、グリーンAI開発のためのデータドリブンな意思決定が可能になる。
• 精度が不十分な場合にのみスケーリングを実施するのではなく、最小限のモデルから始めることを推奨するベストプラクティスが、モバイルアプリケーションにおけるグリーンAI実現に有効であると判明した。