[論文レビュー] Distributed Deep Neural Networks over the Cloud, the Edge and End Devices

Surat Teerapittayanon, Bradley McDanel+1 more|arXiv (Cornell University)|Sep 6, 2017

Advanced Neural Network Applications参考文献 16被引用数 73

ひとこと要約

DDNNは単一のDNNをエンドデバイス、エッジ/フォグ、クラウドに分散させ、局所的な高速推論、センサフュージョン、クラウドとの通信削減を実現し、エンドツーエンドの共同訓練を行う。

ABSTRACT

We propose distributed deep neural networks (DDNNs) over distributed computing hierarchies, consisting of the cloud, the edge (fog) and end devices. While being able to accommodate inference of a deep neural network (DNN) in the cloud, a DDNN also allows fast and localized inference using shallow portions of the neural network at the edge and end devices. When supported by a scalable distributed computing hierarchy, a DDNN can scale up in neural network size and scale out in geographical span. Due to its distributed nature, DDNNs enhance sensor fusion, system fault tolerance and data privacy for DNN applications. In implementing a DDNN, we map sections of a DNN onto a distributed computing hierarchy. By jointly training these sections, we minimize communication and resource usage for devices and maximize usefulness of extracted features which are utilized in the cloud. The resulting system has built-in support for automatic sensor fusion and fault tolerance. As a proof of concept, we show a DDNN can exploit geographical diversity of sensors to improve object recognition accuracy and reduce communication cost. In our experiment, compared with the traditional method of offloading raw sensor data to be processed in the cloud, DDNN locally processes most sensor data on end devices while achieving high accuracy and is able to reduce the communication cost by a factor of over 20x.

研究の動機と目的

• DNN推論のために、エンドデバイス、エッジ、クラウドからなる階層的な分散計算構成の採用を動機付ける。
• 階層全体にわたって単一のDNNを分割し共同訓練するためのフレームワークを開発する。
• 自動センサフュージョンとフォールトトレランスを実現しつつ、層間通信を最小化する。
• 分散推論が精度を維持・向上させつつデータ伝送コストを削減できることを示す。

提案手法

• 単一のDNNのセクションを分散計算階層（エンドデバイス、エッジ、クラウド）にマップする。
• デバイス上の低レイヤとクラウド上の高レイヤを共同訓練して精度を最大化し、通信を最小化する。
• エントロピーに基づく信頼度閾値を用いた複数の退出点（早期退出）を導入し、局所/エッジ/クラウドでの退出を可能にする。
• 複数のエンドデバイスからの出力を結合するための集約方式（最大プーリング、平均プーリング、連結）を提案する。
• 異なる退出閾値と集約方式の下で通信コストと精度を分析する。
• エンドデバイスのメモリ制約に適合させるためにバイナリBNブロックと埋め込みBNブロックを実装し、階層全体でエンドツーエンド訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一のDNNをエンドデバイス、エッジ、クラウドにまたいで分割・訓練し、局所推論とクラウドベースの改善を実現するにはどうすればよいか？
• RQ2 複数のエンドデバイスからの出力を最も効果的に融合して分類精度とフォールトトレランスを最大化する集約戦略は何か？
• RQ3 エントロピーに基づく退出機構は、分散DNNにおける局所待機時間、通信コスト、全体の精度をどのようにバランスさせるのか？
• RQ4 複数のエンドデバイスへDDNNをスケールさせ、エッジ層を導入することが、精度と通信コストにどのような影響を与えるか？
• RQ5 生データをクラウドへオフロードする場合と比較して、DDNNはデータ伝送を削減しつつ精度を維持・向上できるか？

主な発見

• 分散DNNはエンドツーエンドで訓練でき、エンドデバイス、エッジ、クラウドにまたがって分割することで局所退出とクラウドベースの改善を可能にする。
• 局所アグリゲータとして最大プーリング、クラウドアグリゲータとして最大プーリング（MP-CC）を使用すると、多デバイスデータセットで局所とクラウドの精度がそれぞれ98%と最高を達成した。
• ローカル退出でエントロピー閾値を約0.8とすると、全体の高い精度（97%）を達成しつつ、局所通信をサンプルあたり約62バイトに削減できた。
• 集約法MP-CCは局所およびクラウド退出のいずれでも他の方式を一貫して上回った。
• このアプローチは、生データをクラウドへオフロードするのに比べて通信コストを20倍超削減しつつ高精度を維持する。
• このフレームワークは自動センサフュージョンとフォールトトレランスをサポートし、複数のエンドデバイスが失われた場合にのみ性能が低下することを示す。