[論文レビュー] Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing

En Li, Liekang Zeng+2 more|arXiv (Cornell University)|Oct 4, 2019

IoT and Edge/Fog Computing参考文献 45被引用数 32

ひとこと要約

Edgentは、静的または動的なネットワーク条件に適応することで、オンデマンドの低遅延エッジ推論を実現するための DNN の共同分割と適切なサイズ変更を提案します。 Raspberry Pi ベースのプロトタイプは、デバイスのみまたはクラウドのみのアプローチより応答性が向上することを示しています。

ABSTRACT

As a key technology of enabling Artificial Intelligence (AI) applications in 5G era, Deep Neural Networks (DNNs) have quickly attracted widespread attention. However, it is challenging to run computation-intensive DNN-based tasks on mobile devices due to the limited computation resources. What's worse, traditional cloud-assisted DNN inference is heavily hindered by the significant wide-area network latency, leading to poor real-time performance as well as low quality of user experience. To address these challenges, in this paper, we propose Edgent, a framework that leverages edge computing for DNN collaborative inference through device-edge synergy. Edgent exploits two design knobs: (1) DNN partitioning that adaptively partitions computation between device and edge for purpose of coordinating the powerful cloud resource and the proximal edge resource for real-time DNN inference; (2) DNN right-sizing that further reduces computing latency via early exiting inference at an appropriate intermediate DNN layer. In addition, considering the potential network fluctuation in real-world deployment, Edgentis properly design to specialize for both static and dynamic network environment. Specifically, in a static environment where the bandwidth changes slowly, Edgent derives the best configurations with the assist of regression-based prediction models, while in a dynamic environment where the bandwidth varies dramatically, Edgent generates the best execution plan through the online change point detection algorithm that maps the current bandwidth state to the optimal configuration. We implement Edgent prototype based on the Raspberry Pi and the desktop PC and the extensive experimental evaluations demonstrate Edgent's effectiveness in enabling on-demand low-latency edge intelligence.

研究の動機と目的

• デバイスの計算リソースの制約とクラウドデータセンターへの WAN レイテンシがあるため、モバイル/エッジ環境における低遅延 DNN 推論の必要性を動機づける。
• 遅延制約を満たすために、DNN 分割と DNN の適切なサイズ変更を早期終了を通じて共同最適化する Edgent というフレームワークを提案する。
• 特殊な構成器と実行時最適化戦略を用いて、静的および動的なネットワーク環境の双方に対応する。
• 推論レイテンシ低減の有効性を示すプロトタイプ実装と実証評価を提供する。

提案手法

• 利用可能な帯域に基づいて、デバイスとエッジサーバー間の計算を分割する DNN 分割を導入する。
• 精度と引き換えに総レイテンシを削減するため、早期終了分岐による DNN の適切なサイズ変更を導入する。
• オフライン構成（回帰ベースのレイテンシ予測と分岐型 DNN のトレーニング）とオンラインチューニング（最適な分割/ exit 点の探索）という二段階の構成器を開発する。
• 静的ネットワークの場合、層ごとのレイテンシ予測子を訓練し、分割/ exit 点の総当たり探索を用いてレイテンシ下での精度を最大化する。
• 動的ネットワークの場合、帯域状態から報酬ベースの探索を用いて構成マップを構築し、リアルタイムで適応するために変化点検出を適用する。

実験結果

リサーチクエスチョン

• RQ1 デバイス-エッジ協調を用いて、事前に定義されたレイテンシを満たしつつ DNN 推論の精度をいかに最大化するか。
• RQ2 静的対動的ネットワーク環境に対して DNN 分割と適切なサイズ変更をいかに調整するか。
• RQ3 帯域幅の変動性を伴う場合に、オフラインのプロファイリングとオンライン最適化がオンデマンドの低遅延エッジインテリジェンスを実現できるか。
• RQ4 帯域幅がエッジベースの DNN 推論における最適な分割とエグジット決定に与える影響は何か。

主な発見

• 帯域幅が変動する状況下でのリアルタイム DNN 推論には、エッジのみ・デバイスのみのアプローチは不十分である。
• Edgent では、帯域幅が改善すると最適な exit 点と分割点がよりエッジ側の計算へとシフトする。
• 静的帯域実験では、回帰モデルからのレイテンシ予測が測定されたレイテンシと密接に一致する。
• 動的帯域実験は、変化点検出を用いた迅速なオンライン適応のために、428帯域状態にわたる構成マップを構築する。
• exit 点に合わせて調整された Branchy AlexNet は、帯域幅が深い実行を可能にすると、より高い精度を達成する。
• Edgent は Raspberry Pi およびデスクトップ PC のプロトタイプで、オンデマンドの低遅延エッジインテリジェンスを実現する。
• エッジベースの DNN レイテンシは帯域幅の低下に対して依然として敏感であり、エッジ協調と適切なサイズ変更の必要性を促している。