[論文レビュー] JointDNN: An Efficient Training and Inference Engine for Intelligent Mobile Cloud Computing Services

Amir Erfan Eshratifar, Mohammad Saeed Abrishami+1 more|arXiv (Cornell University)|Jan 25, 2018

IoT and Edge/Fog Computing被引用数 12

ひとこと要約

JointDNNは、レイヤー単位で深層ニューラルネットワーク（DNN）の推論と学習をモバイルおよびクラウドプラットフォームに動的に分割するランタイムで適応可能なフレームワークを提案する。DNN計算を有向無閉路グラフ（DAG）上の最短経路問題としてモデル化し、バッテリー、クラウド負荷、QoS制約を最適化するための混合整数線形プログラミング（MILP）を用いることで、クラウド単独またはモバイル単独のアプローチと比較して、モバイルのエネルギー消費を最大32倍、遅延を18倍まで削減する。

ABSTRACT

Deep learning models are being deployed in many mobile intelligent applications. End-side services, such as intelligent personal assistants, autonomous cars, and smart home services often employ either simple local models on the mobile or complex remote models on the cloud. However, recent studies have shown that partitioning the DNN computations between the mobile and cloud can increase the latency and energy efficiencies. In this paper, we propose an efficient, adaptive, and practical engine, JointDNN, for collaborative computation between a mobile device and cloud for DNNs in both inference and training phase. JointDNN not only provides an energy and performance efficient method of querying DNNs for the mobile side but also benefits the cloud server by reducing the amount of its workload and communications compared to the cloud-only approach. Given the DNN architecture, we investigate the efficiency of processing some layers on the mobile device and some layers on the cloud server. We provide optimization formulations at layer granularity for forward- and backward-propagations in DNNs, which can adapt to mobile battery limitations and cloud server load constraints and quality of service. JointDNN achieves up to 18 and 32 times reductions on the latency and mobile energy consumption of querying DNNs compared to the status-quo approaches, respectively.

研究の動機と目的

• モバイル単独またはクラウド単独のDNN推論と学習には、高い遅延、エネルギー消費、通信オーバーヘッドの問題があるため、それらの非効率性を是正すること。
• バッテリー残量、ネットワーク状態、クラウドサーバー負荷などのリアルタイム制約に基づいて、モバイルとクラウド間でDNNレイヤーの計算を動的に分割可能な仕組みを提供すること。
• PNGベースのタイリングと圧縮を用いて中間レイヤー出力を圧縮することで、通信コストとモバイルおよびクラウドの負荷を低減すること。
• Neurosurgeonなどの先行ツールの制限を超えて、CNN、RNN、オートエンコーダーを含む多様なDNNアーキテクチャをサポートすること。
• 混合整数線形プログラミング（MILP）を用いて、遅延、エネルギー、サービス品質（QoS）をバランスさせる統合最適化フレームワークを提供すること。

提案手法

• JointDNNは、各ノードをレイヤー、エッジをデータフローとして定義する有向無閉路グラフ（DAG）としてDNNをモデル化し、モバイルとクラウド間のレイヤー単位の計算分割を可能にする。
• 最適な分割問題を、DAG上の最短経路問題として定式化し、モバイルバッテリー、クラウド混雑状態、QoSの制約を含める。この問題はNP完全であり、MILPにより解ける。
• グラフベースのアプローチを用いて、ResNet や RNN などの複雑なアーキテクチャを扱い、単一スイッチモデルにとどまらず、複数ホップ実行パターン（例：モバイル→クラウド→モバイル）をサポートする。
• 中間レイヤー出力を、複数の特徴マップチャネルを横に並べて2次元行列にすることで、PNGベースのタイリングにより圧縮する。
• 圧縮率（CR）は、元のレイヤーサイズ（8ビット）と圧縮後のPNGサイズの比として計算され、AlexNetでは最大5.8倍、VGG16では3.5倍の平均効果を達成する。
• MILP定式化では、圧縮コストと通信オーバーヘッドを統合し、推論および学習フェーズの両方で遅延とエネルギーのエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モバイルとクラウド間でDNN推論のレイヤー単位の動的分割を実施することで、固定のモバイル単独またはクラウド単独戦略と比較して、遅延とエネルギー消費を低減できるか？
• RQ2 中間レイヤー圧縮の導入が、モバイルクラウドDNN実行における通信コストと全体のシステム効率に与える影響は何か？
• RQ3 CNN、RNN、オートエンコーダーなどの異なるDNNアーキテクチャにおいて、最適な実行パターン（例：モバイル→クラウド、クラウド→モバイル、またはマルチホップ）は何か？
• RQ4 バッテリー、クラウド負荷、QoSといったリアルタイム制約のもとでMILPに基づく最適化が、多様なDNNワークロードにおいてシステム性能をどの程度向上できるか？
• RQ5 Neurosurgeonのような先行ツールが、固定実行仮定により失敗する複雑なアーキテクチャ（例：ResNet や生成モデル）において、JointDNNのアプローチはどの程度スケーラブルか？

主な発見

• JointDNNは、クラウド単独推論と比較して、モバイルのエネルギー消費を最大32倍まで削減し、モバイルアプリケーションにおけるバッテリー寿命を著しく延長する。
• ステータス・クォーのクラウド単独アプローチと比較して、遅延が最大18倍まで短縮され、リアルタイムサービスにおける応答性が向上する。
• PNGベースのタイリングと圧縮により、中間レイヤー通信量が最大5.8倍（AlexNet）および3.5倍（VGG16）まで削減され、圧縮を最適化に統合した場合、エネルギー効率がさらに4.9倍向上する。
• 本フレームワークは、オンライン学習や生成モデルで一般的なモバイル→クラウド→モバイルやクラウド→モバイルの実行パターンをサポートするが、これに対して従来のツールは単一スイッチ実行を仮定している。
• MILPに基づく最適化フレームワークは、バッテリー、クラウド負荷、QoSの複数の制約をうまくバランスさせ、さまざまな展開シナリオに適応可能であることを示している。
• JointDNNは、RNN やオートエンコーダーのサポートを含め、スコープと適応性の面でNeurosurgeonを上回り、レイヤー間最適化およびマルチポイントデータ転送を処理できる。