[論文レビュー] Conditionally Deep Hybrid Neural Networks Across Edge and Cloud

Yinghan Long, Indranil Chakraborty+1 more|arXiv (Cornell University)|May 21, 2020

Advanced Neural Network Applications参考文献 27被引用数 6

ひとこと要約

本稿では、エッジ側で量子化されたレイヤー、クラウド側でフル精度のレイヤーを用いることで、エッジとクラウドのシステム間で推論を分散する条件付きディープハイブリッドニューラルネットワークを提案する。高い信頼度の予測による早期リターンを採用することで、CIFAR-10では最大5.5倍、CIFAR-100では最大4.8倍のエネルギー消費削減が達成され、精度の損失は最小限に抑えられ、それぞれ65%および52%の推論がエッジで処理された。

ABSTRACT

The pervasiveness of "Internet-of-Things" in our daily life has led to a recent surge in fog computing, encompassing a collaboration of cloud computing and edge intelligence. To that effect, deep learning has been a major driving force towards enabling such intelligent systems. However, growing model sizes in deep learning pose a significant challenge towards deployment in resource-constrained edge devices. Moreover, in a distributed intelligence environment, efficient workload distribution is necessary between edge and cloud systems. To address these challenges, we propose a conditionally deep hybrid neural network for enabling AI-based fog computing. The proposed network can be deployed in a distributed manner, consisting of quantized layers and early exits at the edge and full-precision layers on the cloud. During inference, if an early exit has high confidence in the classification results, it would allow samples to exit at the edge, and the deeper layers on the cloud are activated conditionally, which can lead to improved energy efficiency and inference latency. We perform an extensive design space exploration with the goal of minimizing energy consumption at the edge while achieving state-of-the-art classification accuracies on image classification tasks. We show that with binarized layers at the edge, the proposed conditional hybrid network can process 65% of inferences at the edge, leading to 5.5x computational energy reduction with minimal accuracy degradation on CIFAR-10 dataset. For the more complex dataset CIFAR-100, we observe that the proposed network with 4-bit quantization at the edge achieves 52% early classification at the edge with 4.8x energy reduction. The analysis gives us insights on designing efficient hybrid networks which achieve significantly higher energy efficiency than full-precision networks for edge-cloud based distributed intelligence systems.

研究の動機と目的

• エネルギー制約のあるエッジデバイスに大規模なディープラーニングモデルをデプロイする課題に対処すること。
• フォグコンピューティング環境におけるエッジとクラウド間の効率的なワークロード分散を可能にすること。
• エッジでのエネルギー消費を最小限に抑えつつ、最先端の分類精度を維持すること。
• ハイブリッドネットワークにおける量子化ビット深度とレイヤー配置の最適な設定を調査すること。

提案手法

• エッジに量子化済み（1ビット、2ビット、4ビット）のレイヤーを配置し、クラウドにフル精度のレイヤーを配置する。
• 量子化レイヤーの後に早期リターンを導入し、信頼度の高いサンプルがエッジでリターンできるようにする。
• 条件付きディープラーニングを用いて、必要に応じてのみより深いクラウドベースのレイヤーを活性化する。
• ビット深度、量子化レイヤー数、および早期リターンの配置に関する設計空間探索を実施する。
• CIFAR-10およびCIFAR-100における広範な実験を通じて、エネルギー効率と精度のトレードオフを最適化する。
• 早期リターンの意思決定のロバスト性を向上させるために、ハイブリッドネットワークを共同最適化で訓練する。

実験結果

リサーチクエスチョン

• RQ1 エネルギー消費を最小限に抑えるために、エッジにおける量子化ビット深度と量子化レイヤー数の最適なバランスは何か？
• RQ2 早期リターンの配置が、ハイブリッドエッジクラウドネットワークにおける推論精度とエネルギー効率に与える影響は何か？
• RQ3 早期リターンを導入することで、モデル精度を劣化させることなく、計算エネルギー消費をどの程度削減できるか？
• RQ4 ネットワークの複雑さ（例：CIFAR-100対CIFAR-10）が、早期リターンおよび量子化の有効性に与える影響は何か？

主な発見

• CIFAR-10では、1ビット量子化を用いた提案ネットワークにより、65%の推論がエッジでリターンされ、エネルギー消費が最小限の精度損失で5.5倍削減された。
• CIFAR-100では、エッジで4ビット量子化を適用することで、52%のサンプルが早期にリターンされ、エネルギー消費が4.8倍削減された。
• ResNet-32に16個のバイナリレイヤーと14個のフル精度レイヤーを配置することで、CIFAR-10における性能とエネルギー効率の最良トレードオフが達成された。
• 複数の早期リターン（例：2つ）を追加しても、クラウドのエネルギー消費は顕著に減少せず、トレーニングの複雑さが原因で性能が劣化する可能性がある。
• 早期リターンレイヤーのパラメータ数がロバストネスに影響を与える。例えば、24個のバイナリレイヤーの後に大きなリターンレイヤーを設けると、能力が不足するため早期リターン率が低下する。
• エネルギー削減の大部分はクラウド側の削減に起因しており、フル精度レイヤーはバイナリ化されたものよりも顕著に高いエネルギー消費を示す。