[论文解读] Communication-Computation Trade-Off in Resource-Constrained Edge Inference

Jiawei Shao, Jun Zhang|arXiv (Cornell University)|Jun 3, 2020

IoT and Edge/Fog Computing参考文献 17被引用 6

一句话总结

本文提出了一种三步框架，用于设备-边缘协同推理，以在资源受限的边缘人工智能环境中优化通信与计算之间的权衡。通过联合选择模型分割点、采用增量剪枝实现通信感知的模型压缩，并应用面向任务的学习驱动特征编码，该方法相比基线方法将端到端延迟降低了高达50%，尤其在带宽较低（例如，<40 KBps）的恶劣信道条件下表现更优。

ABSTRACT

The recent breakthrough in artificial intelligence (AI), especially deep neural networks (DNNs), has affected every branch of science and technology. Particularly, edge AI has been envisioned as a major application scenario to provide DNN-based services at edge devices. This article presents effective methods for edge inference at resource-constrained devices. It focuses on device-edge co-inference, assisted by an edge computing server, and investigates a critical trade-off among the computation cost of the on-device model and the communication cost of forwarding the intermediate feature to the edge server. A three-step framework is proposed for the effective inference: (1) model split point selection to determine the on-device model, (2) communication-aware model compression to reduce the on-device computation and the resulting communication overhead simultaneously, and (3) task-oriented encoding of the intermediate feature to further reduce the communication overhead. Experiments demonstrate that our proposed framework achieves a better trade-off and significantly reduces the inference latency than baseline methods.

研究动机与目标

• 解决边缘人工智能推理中设备端计算与通信开销之间的关键权衡问题。
• 克服纯设备端推理（受限于资源导致准确率低）和基于服务器的推理（高延迟和隐私问题）的局限性。
• 开发一种通用框架，联合优化模型分割、压缩和特征编码，以最小化端到端推理延迟。
• 实现在低带宽或噪声信道等恶劣通信条件下的有效运行。
• 通过智能编码与压缩技术减轻数据放大效应——即中间特征尺寸超过输入数据尺寸的问题。

提出的方法

• 提出三步框架：(1) 模型分割点选择，将深度神经网络在设备与边缘服务器之间划分；(2) 采用增量剪枝实现通信感知的模型压缩，以减少设备端计算与通信负载。
• 采用基于 $l_2$-范数的剪枝方法，通过迭代应用掩码与权重恢复，逐步提高稀疏度，同时微调压缩后的模型。
• 实现一种轻量级、可学习的编码器-解码器对，用于中间特征编码，以减少通信开销，利用深度神经网络作为源编码器。
• 集成学习驱动的联合源-信道编码（JSCC），在噪声信道下进一步降低通信成本，且无需额外的信道编码。
• 使用香农容量限界作为性能上限进行比较，假设基线方法具备完美的信道编码。
• 通过离线调优中的暴力搜索优化超参数（分割点、稀疏度比、压缩比），尽管本文建议未来采用强化学习实现自动化。

实验结果

研究问题

• RQ1 在资源受限的边缘设备中，如何有效平衡设备-边缘协同推理中的通信-计算权衡？
• RQ2 通信感知的模型压缩在多大程度上能同时减少设备端计算与通信开销？
• RQ3 学习驱动的特征编码，特别是联合源-信道编码（JSCC），是否能显著降低在噪声或低带宽信道下的通信开销？
• RQ4 与基线方法相比，所提出的框架在恶劣通信条件（如<40 KBps）下的表现如何？
• RQ5 数据放大效应（即中间特征尺寸超过输入数据尺寸）对端到端延迟有何影响，以及如何缓解？

主要发现

• 所提框架相比基线方法将端到端推理延迟降低了高达50%，尤其在高延迟或低带宽条件下表现更优。
• 在低带宽环境（如<40 KBps）下，该方法将推理延迟维持在约0.1秒，而基线方法则出现显著延迟增加。
• 学习驱动的JSCC将通信开销降低至略低于或与最优源编码加完美信道编码相当的水平，优于直接传输输入数据或原始特征。
• 通过压缩与编码的结合，该框架有效缓解了中间特征尺寸超过输入数据尺寸的数据放大效应。
• 联合源-信道编码（JSCC）在保持高性能的同时，比传统方法具有更低的编码/解码复杂度，展现出其在实时边缘应用中的潜力。
• 该框架在调整分割点方面的灵活性使其在多种边缘环境（尤其是通信受限场景）下均表现出稳健性能。