[论文解读] Accelerating Convolutional Neural Networks for Continuous Mobile Vision via Cache Reuse.

Mengwei Xu, Xuanzhe Liu+2 more|arXiv (Cornell University)|Dec 1, 2017

Advanced Neural Network Applications参考文献 37被引用 5

一句话总结

本文提出 CNNCache，一种透明的缓存机制，通过重用连续帧中相似图像区域的卷积特征，加速连续移动视觉任务。通过结合高效的图像匹配算法与缓存感知的推理引擎，CNNCache 在主流 Android 设备上实现了高达 47.1% 的加速，且精度损失低于 3.51%。

ABSTRACT

Convolutional Neural Network (CNN) is the state-of-the-art algorithm of many mobile vision fields. It is also applied in many vision tasks such as face detection and augmented reality on mobile devices. Though benefited from the high accuracy achieved via deep CNN models, nowadays commercial mobile devices are often short in processing capacity and battery to continuously carry out such CNN-driven vision applications. In this paper, we propose a transparent caching mechanism, named CNNCache, that can substantially accelerate CNN-driven mobile continuous vision tasks without any efforts from app developers. To cache and reuse the computations of the similar image regions which are consecutively captured by mobile devices, CNNCache leverages two novel techniques: an image matching algorithm that quickly identifies similar image regions between images, and a cache-aware CNN inference engine that propagates the reusable regions through varied layers and reuses the computation results at layer granularity. We implement a prototype of CNNCache to run on commodity Android devices, and evaluate it via typical CNN models. The results show that CNNCache can accelerate the execution of CNN models by 20.2% on average and up to 47.1% under certain scenarios, with no more than 3.51% accuracy loss.

研究动机与目标

• 解决在移动设备上运行深度卷积神经网络（CNN）进行连续视觉任务时面临的性能与电池限制问题。
• 实现对 CNN 推理的透明加速，无需修改现有移动应用程序。
• 利用连续视频帧之间的空间与时间相似性，减少 CNN 中的冗余计算。
• 设计一种在层级别运行的缓存机制，以最大化中间特征图的重用。
• 在真实移动部署场景中实现显著的加速，同时保持高模型精度。

提出的方法

• 开发一种图像匹配算法，基于空间相似性与特征相似性，快速识别连续帧之间相似的图像区域。
• 设计一种缓存感知的 CNN 推理引擎，以单个层为粒度，在网络各层之间传播可重用的特征图。
• 实现一个透明的缓存层，可无缝集成到现有的 CNN 推理流水线中，无需修改应用程序代码。
• 通过重用特征图跳过相似区域的冗余卷积运算，降低推理阶段的计算负载。
• 优化缓存管理策略，在保持高命中率的同时最小化内存开销，适用于多样化的移动视觉工作负载。
• 将系统集成到基于主流 Android 设备的原型系统中，用于真实场景下的评估。

实验结果

研究问题

• RQ1 通过重用跨帧中相似图像区域的特征，能否有效减少连续移动视觉中的冗余计算？
• RQ2 轻量级图像匹配算法在移动设备上实时识别相似区域的效率如何？
• RQ3 在不降低模型精度的前提下，基于层的特征重用能在多大程度上加速 CNN 推理？
• RQ4 在真实移动视觉应用中，所提出的缓存机制的性能提升与精度损失之间存在怎样的权衡？
• RQ5 该缓存机制能否实现透明部署，而无需对现有移动应用或模型进行任何修改？

主要发现

• CNNCache 在主流 Android 设备上的典型 CNN 模型上实现了平均 20.2% 的加速。
• 在理想情况下，系统通过重用高度相似图像区域的特征，最高可实现 47.1% 的加速。
• 特征重用引入的精度损失在所有评估的模型与工作负载中均不超过 3.51%。
• 图像匹配算法实现了低计算开销的快速相似性检测，适用于实时移动应用。
• 缓存感知的推理引擎成功地在多层之间传播可重用特征，显著减少了重复计算。
• 该机制对应用开发者完全透明，无需对现有 CNN 模型或应用程序进行任何修改。