[论文解读] Communication-Efficient Edge AI: Algorithms and Systems

Yuanming Shi, Kai Yang+3 more|arXiv (Cornell University)|Feb 22, 2020

Privacy-Preserving Technologies in Data参考文献 174被引用 26

一句话总结

本文全面综述了面向边缘人工智能的通信高效算法与系统，重点降低分布式训练和推理中的通信开销。通过模型压缩、联邦学习、编码计算以及优化的系统架构等技术，实现网络边缘的高效人工智能，显著降低延迟和带宽使用，同时保护隐私并确保可扩展性。

ABSTRACT

Artificial intelligence (AI) has achieved remarkable breakthroughs in a wide range of fields, ranging from speech processing, image classification to drug discovery. This is driven by the explosive growth of data, advances in machine learning (especially deep learning), and easy access to vastly powerful computing resources. Particularly, the wide scale deployment of edge devices (e.g., IoT devices) generates an unprecedented scale of data, which provides the opportunity to derive accurate models and develop various intelligent applications at the network edge. However, such enormous data cannot all be sent from end devices to the cloud for processing, due to the varying channel quality, traffic congestion and/or privacy concerns. By pushing inference and training processes of AI models to edge nodes, edge AI has emerged as a promising alternative. AI at the edge requires close cooperation among edge devices, such as smart phones and smart vehicles, and edge servers at the wireless access points and base stations, which however result in heavy communication overheads. In this paper, we present a comprehensive survey of the recent developments in various techniques for overcoming these communication challenges. Specifically, we first identify key communication challenges in edge AI systems. We then introduce communication-efficient techniques, from both algorithmic and system perspectives for training and inference tasks at the network edge. Potential future research directions are also highlighted.

研究动机与目标

• 应对由于海量数据生成和网络资源有限导致的边缘人工智能系统中日益增长的通信开销。
• 克服在边缘进行分布式人工智能训练与推理所面临的挑战，包括高延迟、带宽限制以及数据隐私问题。
• 对边缘人工智能中的算法与系统级设计的通信高效技术进行综述与分类。
• 识别在硬件、软件和服务平台方面实现可扩展边缘人工智能部署的关键研究空白与未来方向。

提出的方法

• 将通信高效的算法分为零阶、一阶、二阶以及联邦优化方法，用于分布式训练。
• 提出基于模型划分和基于数据划分的系统架构，以分布计算并减少通信负载。
• 引入编码计算技术，通过允许从任意计算节点子集恢复结果，缓解分布式边缘计算中的慢速节点（straggler）问题。
• 将编码理论应用于非线性计算（例如，DNN推理），利用基于学习的编码设计提升在无线环境中的鲁棒性。
• 通过优化任务分配与通信调度，实现计算卸载与边缘推理的集成。
• 综述现有边缘人工智能平台（例如，FATE、NVIDIA Clara），并提出一种集成资源管理的边缘人工智能即服务（EaaS）愿景。

实验结果

研究问题

• RQ1 如何在不损害模型准确性的前提下，最小化分布式边缘人工智能训练中的通信开销？
• RQ2 在边缘人工智能中，哪种系统级架构（数据划分 vs. 模型划分）能最佳平衡通信成本与计算效率？
• RQ3 如何利用编码技术缓解分布式边缘推理中的慢速节点效应？
• RQ4 硬件与软件平台在实现可扩展且安全的边缘人工智能部署中发挥何种作用？
• RQ5 如何通过统一管理计算、通信、存储与电源资源，实现边缘人工智能的即服务交付？

主要发现

• 联邦学习可在保护数据隐私的前提下，实现跨边缘设备的协同模型训练，从而减少向云端传输原始数据的需求。
• 编码计算技术可通过允许从任意计算节点子集恢复结果，显著降低分布式推理的有效延迟，即使在设备性能不一致的情况下亦能保持高效。
• 模型压缩与量化技术可显著减小模型大小与通信成本，从而实现资源受限边缘设备上的高效部署。
• 边缘人工智能硬件如Google的Edge TPU与NVIDIA的Jetson系列可加速设备端推理，但未来系统需进一步实现面向应用的定制化。
• FATE与NVIDIA Clara等软件平台展示了领域专用边缘人工智能框架的可行性，可在医疗与金融领域支持隐私保护的协同学习。
• 将通信高效算法与系统级优化相结合，可在边缘人工智能工作负载中实现端到端延迟与带宽使用的显著降低。