[论文解读] Compressing Representations for Embedded Deep Learning

Juliano S. Assine, Alan Godoy+1 more|arXiv (Cornell University)|Nov 23, 2019

IoT and Edge/Fog Computing参考文献 12被引用 4

一句话总结

本文提出了一种分布式深度学习推理框架，通过压缩中间特征表示，将MobileNetV2模型拆分至边缘与云端，采用基于主成分分析（PCA）的压缩方法以最小化通信成本。研究识别出网络中间层存在一个‘最佳平衡点’，在此处压缩可最大化准确率并最小化带宽消耗，该结论通过与信息瓶颈理论的理论一致性以及实证结果得到验证，显示相较于JPEG压缩输入，带宽显著降低。

ABSTRACT

Despite recent advances in architectures for mobile devices, deep learning computational requirements remains prohibitive for most embedded devices. To address that issue, we envision sharing the computational costs of inference between local devices and the cloud, taking advantage of the compression performed by the first layers of the networks to reduce communication costs. Inference in such distributed setting would allow new applications, but requires balancing a triple trade-off between computation cost, communication bandwidth, and model accuracy. We explore that trade-off by studying the compressibility of representations at different stages of MobileNetV2, showing those results agree with theoretical intuitions about deep learning, and that an optimal splitting layer for network can be found with a simple PCA-based compression scheme.

研究动机与目标

• 解决在计算能力、内存和网络带宽受限的嵌入式系统上部署深度学习的挑战。
• 通过将部分推理任务卸载至云端，实现物联网中可行的实时计算机视觉应用。
• 最小化分布式推理中设备计算成本、网络带宽使用与模型准确率之间的权衡。
• 识别出最优的模型拆分点（第k层），以平衡压缩效率与预测性能。
• 在真实世界的深度学习表征上验证信息论中的理论直觉，特别是信息瓶颈理论。

提出的方法

• 该方法将MobileNetV2的推理分为两个阶段：在边缘设备上处理至第k层，随后由云端完成剩余部分。
• 对第k层的中间特征图使用分块主成分分析（PCA）进行压缩，随后进行量化与Huffman编码。
• 在MobileNetV2的不同层应用该压缩方案，以评估带宽、准确率与计算成本之间的权衡。
• 该方法利用信息瓶颈理论的理论洞见，即深层表征已高度压缩，进一步压缩的潜力较小。
• 在ImageNet数据集上评估模型，采用最高准确率的MobileNetV2配置（α=1.0，输入尺寸=224），并测试不同拆分点k的影响。
• 带宽成本以传输JPEG压缩图像为基准进行测量，建立比较基线。

实验结果

研究问题

• RQ1 在深度神经网络中，何处存在表征可压缩性与预测准确率之间的最优权衡，以实现分布式推理？
• RQ2 对中间特征进行基于PCA的压缩，能否显著降低通信成本而不损害模型准确率？
• RQ3 信息瓶颈等理论原则，以及深层表征的线性化，与压缩特征表征中的实证结果在多大程度上一致？
• RQ4 压缩中间特征是否能实现以往因带宽或计算限制而不可行的嵌入式深度学习应用？
• RQ5 模型架构与输入表征对中间特征压缩在边缘-云推理中有效性的影响如何？

主要发现

• 在MobileNetV2的中间层发现了一个清晰的‘最佳平衡点’，在此处压缩能实现带宽减少与准确率保持的最佳平衡。
• 基于PCA的中间特征压缩将通信成本降低至传输JPEG压缩图像所需带宽的10%以下，即使采用简单的压缩方案。
• 网络早期层对PCA的压缩效果较差，需依赖更复杂的JPEG等方法；而后期层本身已高度压缩，对进一步压缩极为敏感。
• 结果与信息瓶颈理论高度一致，显示输入与表征之间的互信息随网络深度增加而减少，即使数据结构变得更复杂。
• 与深度学习推理成本相比，边缘设备上压缩的计算开销可忽略不计，因此在实际部署中具有可行性。
• 本研究证明，将理论洞见与实用压缩技术结合，可实现高效、可扩展且准确的嵌入式与物联网系统分布式推理。