[论文解读] Collaborative Intelligence: Challenges and Opportunities

Ivan V. Bajić, Weisi Lin+1 more|arXiv (Cornell University)|Feb 13, 2021

Ferroelectric and Negative Capacitance Devices参考文献 40被引用 18

一句话总结

本文提出协同智能（CI）作为一种在边缘设备与云之间分配AI推理的框架，通过压缩传输深度神经网络特征，实现能效和延迟的节省。它识别出关键的信号处理挑战——特征压缩、抗错能力、隐私保护与系统设计，并提出相应的解决方案，如率-性能-优化编码、可扩展的特征压缩以及用于分布式AI工作负载的隐私保护技术。

ABSTRACT

This paper presents an overview of the emerging area of collaborative intelligence (CI). Our goal is to raise awareness in the signal processing community of the challenges and opportunities in this area of growing importance, where key developments are expected to come from signal processing and related disciplines. The paper surveys the current state of the art in CI, with special emphasis on signal processing-related challenges in feature compression, error resilience, privacy, and system-level design.

研究动机与目标

• 通过实现边缘设备与云之间的协同推理，应对边缘侧高效、可扩展AI部署日益增长的需求。
• 克服传统仅依赖云或仅依赖边缘的AI部署模式的局限性，后者面临高延迟、高能耗和带宽受限的问题。
• 识别并解决协同智能中的核心信号处理挑战，包括特征压缩、抗错能力、隐私保护与系统级优化。
• 通过分割深度神经网络并仅传输中间特征，实现边缘与云之间灵活的负载均衡。
• 通过将视频编码原理适配至机器可读特征，改进压缩与性能权衡，推动中间特征编码技术的最新进展。

提出的方法

• 提出一种基于三个模块——预量化（PreQuantization）、重排（Repack）和视频编码器（VideoEncoder）——的联合编码框架，用于深度特征的有损压缩，实现中间特征的高效压缩。
• 将传统视频编码器（如HEVC、VP9、JPEG2000）适配用于深度特征的有损压缩，优化目标为识别性能而非视觉保真度。
• 提出一种类似率-失真优化（RDO）的率-性能-损失优化模型，其中失真被替换为分析性能损失。
• 基于时间冗余性定义三种编码模式——I-feature、P-feature和S-feature，以利用视频数据中深度特征的时间相关性。
• 开发一种可扩展编码框架，其中基础层编码深度特征，增强层重建纹理，实现高效特征与内容压缩。
• 集成面向机器的视频编码（VCM），优先保障机器可读特征的保真度而非人眼视觉质量，从而提升下游任务的准确性。

Fig. 1 : Basic collaborative intelligence system

实验结果

研究问题

• RQ1 如何高效压缩中间深度特征，在最小化带宽使用的同时保持推理准确性？
• RQ2 哪些编码策略能有效利用基于视频的深度特征中的时间冗余性，以提高压缩效率？
• RQ3 如何使特征传输对比特错误和数据包丢失具有鲁棒性，同时不降低模型性能？
• RQ4 哪些隐私保护机制可集成到协同智能系统中，以在特征传输过程中保护敏感数据？
• RQ5 如何对CI架构的系统级设计进行优化，以实现在异构边缘与云资源上的负载均衡、低延迟与高能效？

主要发现

• 由于高维性和计算成本过高，中间深度特征的无损压缩不切实际，因此必须采用有损压缩技术。
• 将HEVC和VP9等视频编码器适配用于深度特征压缩，可在保持图像分类与目标检测等任务可接受识别性能的前提下，显著降低带宽占用。
• 率-性能-损失优化模型实现了比特率与推理准确率之间的权衡，且在低比特率下性能下降最小化。
• 基于编码模式定义I-、P-和S-特征，通过利用视频序列中的时间冗余性，显著提升了压缩效率。
• VCM标准在优先保障机器可读特征保真度方面展现出潜力，相比传统面向人类视觉的编码方式，能显著提升下游AI任务的准确性。
• 多任务学习与参数共享技术可减小模型规模并降低相关任务间的冗余，但预训练模型依赖限制了可适应性，并增加了训练开销。

Fig. 2 : Adapted from [ 7 ] . Input images (top row) and reconstructions from 7 ${}^{\text{th}}$ , 11 ${}^{\text{th}}$ , and 17 ${}^{\text{th}}$ layer of YOLOv2 [ 23 ] .