[论文解读] AI on the Edge: Rethinking AI-based IoT Applications Using Specialized Edge Architectures

Qianlin Liang, Prashant Shenoy+1 more|arXiv (Cornell University)|Mar 27, 2020

IoT and Edge/Fog Computing参考文献 25被引用 14

一句话总结

本文评估了用于物联网系统中AI工作负载的专用边缘加速器（如Google Edge TPU、Intel Movidius VPU和NVIDIA Jetson）的性能。通过实证评估，表明这些加速器在能效比和单位成本性能方面优于传统边缘和云服务器，通过模型拆分与压缩可显著降低延迟和带宽消耗，但在多租户边缘云部署中缺乏隔离机制。

ABSTRACT

Edge computing has emerged as a popular paradigm for supporting mobile and IoT applications with low latency or high bandwidth needs. The attractiveness of edge computing has been further enhanced due to the recent availability of special-purpose hardware to accelerate specific compute tasks, such as deep learning inference, on edge nodes. In this paper, we experimentally compare the benefits and limitations of using specialized edge systems, built using edge accelerators, to more traditional forms of edge and cloud computing. Our experimental study using edge-based AI workloads shows that today's edge accelerators can provide comparable, and in many cases better, performance, when normalized for power or cost, than traditional edge and cloud servers. They also provide latency and bandwidth benefits for split processing, across and within tiers, when using model compression or model splitting, but require dynamic methods to determine the optimal split across tiers. We find that edge accelerators can support varying degrees of concurrency for multi-tenant inference applications, but lack isolation mechanisms necessary for edge cloud multi-tenant hosting.

研究动机与目标

• 评估专用边缘加速器相较于传统边缘和云计算在AI工作负载中的性能、能效比和成本效益。
• 研究通过模型压缩和模型拆分的分层处理（设备-边缘、边缘-边缘、边缘-云）如何优化边缘AI系统中各层级的延迟和带宽。
• 评估边缘加速器在边缘云环境中支持并发多租户推理工作负载的适用性。
• 识别在真实物联网应用中部署边缘加速器时的系统级权衡与限制，特别是内存、并发性和隔离性方面的挑战。

提出的方法

• 构建了一个实验测试平台，集成多种边缘加速器：Intel Movidius VPU、Google Edge TPU、NVIDIA Jetson Nano和TX2。
• 测量了在各种AI推理工作负载（包括视觉和语音处理）下的性能、功耗和成本。
• 实现并评估了多种分层处理策略：在设备-边缘、边缘-边缘和边缘-云层级上实施模型压缩与模型拆分。
• 通过同时运行多个模型，评估并发支持能力，分析内存使用情况以及运行时优化技术（如模型交换和量化）。
• 通过观察共享硬件上并发模型间的干扰，评估隔离与安全限制。
• 使用归一化指标（性能-每瓦特、性能-每美元）将边缘加速器与通用边缘服务器和云服务器进行对比。

实验结果

研究问题

• RQ1 在AI推理工作负载方面，边缘加速器相较于传统边缘和云服务器在性能、功耗效率和成本方面表现如何？
• RQ2 在边缘AI系统中，跨不同层级（设备-边缘、边缘-边缘、边缘-云）使用模型压缩与模型拆分，在延迟和带宽方面能带来哪些优势？
• RQ3 边缘加速器在多租户并发推理工作负载中能支持到何种程度？其在内存和隔离性方面的限制是什么？
• RQ4 系统级因素（如内存大小、模型量化和运行时优化）如何影响边缘加速器上的并发性和性能？

主要发现

• 与通用边缘服务器相比，边缘加速器在性能-每瓦特和性能-每美元方面可提升10至100倍。
• 在各层级间实施模型拆分与压缩可降低带宽使用和延迟，其收益高度依赖于模型架构和拆分策略。
• 内存受限设备可通过运行时优化（如模型交换和量化）实现高并发，但前提是框架具备内存优化能力。
• 边缘加速器的并发能力因硬件和软件限制而异，但缺乏并发模型之间的隔离机制。
• 租户之间缺乏硬件或软件隔离，限制了边缘加速器在多租户边缘云环境中的可行性。
• 模型划分的最优拆分点因模型和工作负载而异，需通过动态、工作负载感知的决策机制才能实现最大效益。