[論文レビュー] DeepWear: Adaptive Local Offloading for On-Wearable Deep Learning

Mengwei Xu, Feng Qian+4 more|arXiv (Cornell University)|Dec 1, 2017

IoT and Edge/Fog Computing参考文献 51被引用数 4

ひとこと要約

DeepWear は、Bluetooth を介してペaired ハンドヘルドデバイスへの適応的でローカルなオフロードを可能にする、軽量で文脈に配慮したフレームワークであり、パフォーマンスを向上させるとともにエネルギー消費を削減する。インтелиジェントなモデル分割、パイipelニング、リアルタイムのワークロード認識を活用することで、ローカル実行に比べ最大 5.08× の高速化と 85.5% のエネルギー節約を達成する。

ABSTRACT

Due to their on-body and ubiquitous nature, wearables can generate a wide range of unique sensor data creating countless opportunities for deep learning tasks. We propose DeepWear, a deep learning (DL) framework for wearable devices to improve the performance and reduce the energy footprint. DeepWear strategically offloads DL tasks from a wearable device to its paired handheld device through local network. Compared to the remote-cloud-based offloading, DeepWear requires no Internet connectivity, consumes less energy, and is robust to privacy breach. DeepWear provides various novel techniques such as context-aware offloading, strategic model partition, and pipelining support to efficiently utilize the processing capacity from nearby paired handhelds. Deployed as a user-space library, DeepWear offers developer-friendly APIs that are as simple as those in traditional DL libraries such as TensorFlow. We have implemented DeepWear on the Android OS and evaluated it on COTS smartphones and smartwatches with real DL models. DeepWear brings up to 5.08X and 23.0X execution speedup, as well as 53.5% and 85.5% energy saving compared to wearable-only and handheld-only strategies, respectively.

研究の動機と目的

• リソース制限のある商用市販（COTS）ウェアラブルデバイスで計算負荷の高いディープラーニングワークロードを実行する課題に対処すること。
• インターネット接続に依存しないことで、クラウドベースのオフロードの限界を克服し、プライバシーのリスクを低減すること。
• ペアドハンドヘルドデバイス（例：スマートフォン）の近接性と計算能力を活用して、パフォーマンスとエネルギー効率を向上させること。
• Android 上の既存のディープラーニングワークフローにシームレスに統合できる実用的で開発者フレンドリーなフレームワークを開発すること。
• リアルタイムのシステム状態およびネットワーク状態に基づいて、遅延、エネルギー、リソース使用量のバランスを最適化する透明で適応的なオフロード意思決定を可能にすること。

提案手法

• デバイス負荷、ネットワーク状態、アプリケーションの遅延要件を動的に評価することで、リアルタイムのオフロード意思決定を可能にする文脈に配慮したオフロードスケジューリングを導入する。
• ハーシュティックに基づくモデル分割アルゴリズムを採用し、ディープラーニングモデルをウェアラブルとペアドハンドヘルドで実行するサブモデルに分割することで、データ転送のオーバーヘッドを最小限に抑える。
• 部分的オフロードをサポートし、中間テンソルのサイズと通信遅延を低減するための最適なモデル内分割ポイントを特定する。
• ウェアラブルとハンドヘルド間での計算とデータ転送を重ねて実行するパイプライン処理を実装し、エンドツーエンドのスループットを向上させる。
• ランタイムのオーバーヘッドを最小限に抑えるために、軽量なオンライン予測モデルを用いて遅延とエネルギー消費を予測し、オフロード意思決定を支援する。
• TensorFlow に類似した API を備えたユーザースペースライブラリとしてデプロイされ、Android 上の既存の DL アプリケーションにシームレスに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 クラウド接続に依存せずに、近接するハンドヘルドデバイスへのディープラーニング推論の効率的なオフロードはどのように実現できるか？
• RQ2 ウェアラブルデバイス上でローカル実行する場合と比較して、ペアドハンドヘルドデバイスに DL タスクをオフロードする場合のパフォーマンスとエネルギーのトレードオフは何か？
• RQ3 通信オーバーヘッドを最小限に抑えつつ、デバイス間で計算負荷をバランスさせるために、モデル分割をどのように知的に最適化できるか？
• RQ4 文脈に配慮したスケジューリングは、実世界のウェアラブルシナリオにおいて、エンドツーエンドの遅延とエネルギー効率をどの程度向上させられるか？
• RQ5 オフロードフレームワークのランタイムオーバーヘッドはどれほどで、機能を損なわずに最小限に抑えるにはどうすればよいか？

主な発見

• DeepWear は、ウェアラブルデバイスでのみ推論を実行する場合に比べ、最大 5.08× の高速化と 53.5% のエネルギー節約を達成する。
• ハンドヘルドデバイスでのみモデルを実行する場合に比べ、最大 23.0× の高速化と 85.5% のエネルギー節約を達成する。
• DeepWear のランタイムオーバーヘッドは非常に小さく、アクティブな Bluetooth プローブを使用する際、システムプロファイリングによるエネルギー消費増加は 5% 未満である。
• モデル分割ヒューリスティックにより、計算複雑度がほぼ O(n) に低下し、ここで n はモデルのノード数であるため、スケーラビリティが保証される。
• Bluetooth を用いた通信は、効率的なデータ転送とパイプライン処理のおかげで、低オーバーヘッド（合計計算時間の 0.49% ～ 4.21%）を実現する。
• 本フレームワークは、LG Urbane、Galaxy S2、Nexus 6 など多様なデバイスおよび GoogLeNet や TextRNN などの一般的な DL モデルにおいて、高い頑健性を示している。