[论文解读] Decentralized Low-Latency Collaborative Inference via Ensembles on the Edge

May Malka, Erez Farhan+2 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出边缘集成（edge ensembles），一种去中心化、低延迟的协作推理框架，使多个边缘设备能够通过使用紧凑的深度神经网络（DNN）和共享的量化特征，形成深度集成。通过使用统一的推理规则聚合来自多样化本地模型的预测，该方法在现实网络条件下仅引入轻微的延迟开销，便实现了显著的准确率提升——甚至超越了更大的集中式DNN。

ABSTRACT

The success of deep neural networks (DNNs) is heavily dependent on computational resources. While DNNs are often employed on cloud servers, there is a growing need to operate DNNs on edge devices. Edge devices are typically limited in their computational resources, yet, often multiple edge devices are deployed in the same environment and can reliably communicate with each other. In this work we propose to facilitate the application of DNNs on the edge by allowing multiple users to collaborate during inference to improve their accuracy. Our mechanism, coined {\em edge ensembles}, is based on having diverse predictors at each device, which form an ensemble of models during inference. To mitigate the communication overhead, the users share quantized features, and we propose a method for aggregating multiple decisions into a single inference rule. We analyze the latency induced by edge ensembles, showing that its performance improvement comes at the cost of a minor additional delay under common assumptions on the communication network. Our experiments demonstrate that collaborative inference via edge ensembles equipped with compact DNNs substantially improves the accuracy over having each user infer locally, and can outperform using a single centralized DNN larger than all the networks in the ensemble together.

研究动机与目标

• 为在计算能力有限的资源受限边缘设备上部署高精度深度神经网络（DNN）提供解决方案。
• 使边缘设备能够在不依赖集中式服务器或固定通信拓扑结构的前提下，协作提升推理准确率。
• 设计一种去中心化、低延迟的推理框架，支持本地推理以及相邻设备间的动态协作。
• 量化并最小化在实际边缘网络中协作推理引入的延迟开销。
• 证明多个边缘设备上运行的紧凑、多样化模型可集体超越单个大型集中式DNN的性能。

提出的方法

• 该框架采用去中心化的边缘集成机制，每个设备运行一个独立的紧凑DNN，在推理过程中形成多样化集成。
• 设备仅通过量化特征进行通信以减少带宽消耗，采用统一的推理规则聚合所有可用协作设备的预测结果。
• 系统通过使用表示链路可靠性和信道容量的随机变量来建模通信延迟，引入了对连接性的概率假设。
• 理论分析推导了端到端推理延迟的累积分布函数，考虑了设备可用性变化和网络条件波动的影响。
• 该方法采用概率模型，其中链路可用性由参数为p的伯努利过程控制，信道容量被建模为具有累积分布函数F_C的随机变量。
• 推理延迟受单个设备处理延迟与通信延迟最大值的限制，且推导出了延迟低于某一阈值的概率的闭式表达式。

Figure 1 : DNN -based edge inference illustration.

实验结果

研究问题

• RQ1 在无集中式服务器依赖的情况下，边缘设备间的去中心化协作能否提升推理准确率？
• RQ2 在动态的设备对设备通信环境中，协作推理引入的最小延迟开销是多少？
• RQ3 去中心化的紧凑DNN集成性能与单个大型集中式DNN相比如何？
• RQ4 设备可用性与通信可靠性变化对端到端推理延迟有何影响？
• RQ5 统一的推理规则能否有效聚合边缘设备上独立训练的多样化模型的预测结果？

主要发现

• 即使每个模型均小于单个大型集中式DNN，仅使用紧凑DNN的边缘集成在推理准确率上也显著优于本地推理。
• 协作推理框架的性能可与甚至超过所有边缘集成模型总参数量的集中式DNN相媲美或超越。
• 理论分析表明，在现实网络假设下，随着协作设备数量的增加，延迟超过给定阈值的概率会衰减至零。
• 在典型网络条件下，协作引入的延迟开销极小，延迟分布受处理延迟与通信延迟最大值的限制。
• 该框架在动态连接环境下依然具备鲁棒性，支持本地推理与按需协作，无需维持持久通信链路。
• 当链路可靠性与信道容量有利时，可用协作设备数量越多，实现低延迟推理的概率越高。

Figure 2 : Vector quantization layer of VQ-VAE.