[论文解读] Distributed Deep Neural Networks over the Cloud, the Edge and End Devices

Surat Teerapittayanon, Bradley McDanel+1 more|arXiv (Cornell University)|Sep 6, 2017

Advanced Neural Network Applications参考文献 16被引用 73

一句话总结

DDNN 将单个 DNN 分布在终端设备、边缘/雾计算和云端，以实现本地快速推断、传感器融合，并减少云端通信，同时进行端到端联合训练。

ABSTRACT

We propose distributed deep neural networks (DDNNs) over distributed computing hierarchies, consisting of the cloud, the edge (fog) and end devices. While being able to accommodate inference of a deep neural network (DNN) in the cloud, a DDNN also allows fast and localized inference using shallow portions of the neural network at the edge and end devices. When supported by a scalable distributed computing hierarchy, a DDNN can scale up in neural network size and scale out in geographical span. Due to its distributed nature, DDNNs enhance sensor fusion, system fault tolerance and data privacy for DNN applications. In implementing a DDNN, we map sections of a DNN onto a distributed computing hierarchy. By jointly training these sections, we minimize communication and resource usage for devices and maximize usefulness of extracted features which are utilized in the cloud. The resulting system has built-in support for automatic sensor fusion and fault tolerance. As a proof of concept, we show a DDNN can exploit geographical diversity of sensors to improve object recognition accuracy and reduce communication cost. In our experiment, compared with the traditional method of offloading raw sensor data to be processed in the cloud, DDNN locally processes most sensor data on end devices while achieving high accuracy and is able to reduce the communication cost by a factor of over 20x.

研究动机与目标

• 推动在 DNN 推断中使用分层分布式计算架构（终端设备、边缘、云端）。
• 开发一个框架，将单个 DNN 在分层结构中进行分区并进行联合训练。
• 在最小化层间通信的同时，实现自动传感器融合和容错。
• 证明分布式推断在保持或提高准确度的同时，可以降低数据传输成本。

提出的方法

• 将单个 DNN 的各个部分映射到分布式计算层次结构（终端设备、边缘、云端）。
• 联合训练分割后的 DNN，使设备上的低层和云上的高层最大化准确性并最小化通信。
• 引入多个出口点（早停）并基于熵阈值的置信度来实现本地/边缘/云端退出。
• 提出聚合方案（最大池化、平均池化、拼接）来组合来自多个终端设备的输出。
• 在不同出口阈值和聚合方案下分析通信成本和准确性。
• 实现二值/嵌入式 BN 块以适应终端设备的内存约束，并实现跨层次的端到端训练。

实验结果

研究问题

• RQ1 如何将单个 DNN 在终端设备、边缘和云端进行分区和训练，以实现本地推断和云端的改进？
• RQ2 哪种聚合策略最能融合来自多个终端设备的输出，以最大化分类准确性和容错性？
• RQ3 基于熵的出口机制如何在分布式 DNN 中平衡本地延迟、通信成本和总体准确性？
• RQ4 将 DDNN 扩展到多个终端设备并引入边缘层对准确性和通信成本的影响是什么？
• RQ5 与将原始数据直接上传到云端相比，DDNN 是否能在保持或提高准确性的同时降低数据传输量？

主要发现

• 分布式 DNN 可以端到端训练并跨终端设备、边缘和云端进行分区，以实现本地出口和云端改进。
• 在多设备数据集上，使用本地最大池化聚合与云聚合（MP-CC）实现了最佳的本地和云端准确率（各 98%）。
• 局部出口的熵阈值约为 0.8 时，在其设置中实现了高整体准确率（97%），同时将本地通信降低到每个样本约 62 字节。
• 在实验中，聚合方法 MP-CC 在本地和云端出口方面始终优于其他方案。
• 与将原始传感器数据下放到云端相比，该方法将通信成本降低了超过 20 倍，同时保持了高准确率。
• 该框架支持自动传感器融合和容错，只有在多台终端设备丢失时才呈现性能下降。