[论文解读] CacheNet: A Model Caching Framework for Deep Learning Inference on the Edge

Yihao Fang, Shervin Manzuri Shalmani+1 more|arXiv (Cornell University)|Jul 3, 2020

Advanced Neural Network Applications参考文献 23被引用 8

一句话总结

CacheNet 是一种模型缓存框架，通过在本地缓存低复杂度子模型，同时将高精度完整模型存储在边缘或云服务器上，从而加速边缘设备上的深度学习推理。通过利用流式输入中的时间局部性，CacheNet 在仅造成轻微精度损失的情况下，相比基线的纯边缘或纯设备方法，实现了 58–217% 的推理加速。

ABSTRACT

The success of deep neural networks (DNN) in machine perception applications such as image classification and speech recognition comes at the cost of high computation and storage complexity. Inference of uncompressed large scale DNN models can only run in the cloud with extra communication latency back and forth between cloud and end devices, while compressed DNN models achieve real-time inference on end devices at the price of lower predictive accuracy. In order to have the best of both worlds (latency and accuracy), we propose CacheNet, a model caching framework. CacheNet caches low-complexity models on end devices and high-complexity (or full) models on edge or cloud servers. By exploiting temporal locality in streaming data, high cache hit and consequently shorter latency can be achieved with no or only marginal decrease in prediction accuracy. Experiments on CIFAR-10 and FVG have shown CacheNet is 58-217% faster than baseline approaches that run inference tasks on end devices or edge servers alone.

研究动机与目标

• 解决边缘深度学习应用中推理延迟与预测精度之间的权衡问题。
• 克服在资源受限的终端设备上运行大型未压缩 DNN 的局限性。
• 通过在边缘设备上缓存频繁使用的子模型，减少基于云的推理中的通信延迟。
• 利用流式数据中的时间局部性，提高缓存命中率和系统效率。
• 提供一种灵活、与架构无关的框架，支持多种 DNN 压缩和推理格式。

提出的方法

• 从预训练的完整 DNN 中生成多个子模型，每个子模型捕获模型知识的一个子集。
• 基于预测熵和置信度阈值，在终端设备上缓存低复杂度子模型。
• 采用基于阈值的缓存策略：当预测熵低于预设阈值 T 时，判定为缓存命中。
• 在终端设备上使用 S-InfoVAE 为每个输入选择最合适的缓存子模型。
• 采用 LRU（最近最少使用）缓存替换策略，管理子模型的驱逐与替换。
• 在边缘或云服务器上存储完整模型和所有子模型，以处理缓存未命中情况。

实验结果

研究问题

• RQ1 在边缘设备上进行模型缓存是否能显著降低推理延迟，同时不牺牲预测精度？
• RQ2 利用流式输入中的时间局部性是否能提高 DNN 推理中的缓存命中率？
• RQ3 在所提出的框架中，增加子模型容量或缓存子模型数量如何影响缓存性能？
• RQ4 CacheNet 是否能避免 Bélády异常（即缓存容量增加反而导致性能下降）？
• RQ5 CacheNet 在速度和精度方面相较于纯边缘或纯设备推理，优势有多大？

主要发现

• 在 CIFAR-10 上，CacheNet 的推理速度比仅使用终端设备的方法快 2.2 倍；在 FVG 上快 1.5 倍。
• 在 CIFAR-10 上，CacheNet 比仅使用边缘服务器的推理快 58%；在 FVG 上快 71%。
• 与基线方法相比，CacheNet 的延迟降低了 58–217%，具体取决于数据集和配置。
• CacheNet 在仅因子模型压缩导致的精度轻微下降下，仍保持了高预测精度。
• 理论分析表明，CacheNet 不会出现 Bélády异常，因为增加子模型容量或缓存子模型数量总是能提高或维持命中率。
• 实验评估证实，更大的子模型或更多的缓存子模型能带来更高的缓存命中率，验证了理论保证。