[论文解读] Euphrates: Algorithm-SoC Co-Design for Low-Power Mobile Continuous Vision

Yuhao Zhu, Anand Samajdar+2 more|arXiv (Cornell University)|Mar 29, 2018

CCD and CMOS Imaging Sensors参考文献 39被引用 10

一句话总结

Euphrates 提出了一种算法-SoC协同设计框架，利用ISP生成的运动矢量来降低连续移动视觉中的CNN推理频率，实现了高达66%的系统级能效节省和4倍的视觉计算能效降低，同时精度损失不足1%，并通过专用的运动控制器硬件IP实现无CPU、始终开启的运行模式。

ABSTRACT

Continuous computer vision (CV) tasks increasingly rely on convolutional neural networks (CNN). However, CNNs have massive compute demands that far exceed the performance and energy constraints of mobile devices. In this paper, we propose and develop an algorithm-architecture co-designed system, Euphrates, that simultaneously improves the energy-efficiency and performance of continuous vision tasks. Our key observation is that changes in pixel data between consecutive frames represents visual motion. We first propose an algorithm that leverages this motion information to relax the number of expensive CNN inferences required by continuous vision applications. We co-design a mobile System-on-a-Chip (SoC) architecture to maximize the efficiency of the new algorithm. The key to our architectural augmentation is to co-optimize different SoC IP blocks in the vision pipeline collectively. Specifically, we propose to expose the motion data that is naturally generated by the Image Signal Processor (ISP) early in the vision pipeline to the CNN engine. Measurement and synthesis results show that Euphrates achieves up to 66% SoC-level energy savings (4 times for the vision computations), with only 1% accuracy loss.

研究动机与目标

• 解决移动设备上基于CNN的连续视觉带来的高能耗和高计算需求问题。
• 减少实时视频处理中频繁的CNN推理，以提升能效。
• 利用ISP自然生成的运动数据，最小化额外计算开销。
• 设计一种软硬件协同的系统，实现无CPU、始终开启的视觉处理。
• 在不牺牲精度的前提下，实现显著的能效节省和性能提升。

提出的方法

• 利用连续视频帧之间的时序运动作为信号，降低CNN推理频率。
• 在视觉处理流水线早期暴露ISP生成的运动矢量给CNN引擎，用于基于运动的预测。
• 引入一种硬件运动控制器IP，可自主调度视觉任务并执行无CPU干预的运动外推。
• 协同优化多个SoC IP模块——ISP、运动控制器和CNN加速器——以实现最大能效。
• 将运动控制器设计为轻量级的微控制器类单元，以最小化面积和功耗开销。
• 基于商用移动SoC模型，通过真实硬件测量和RTL综合实现并验证系统。

实验结果

研究问题

• RQ1 ISP自然生成的运动信息能否用于降低连续视觉中的CNN推理频率？
• RQ2 如何高效地在SoC IP模块间暴露和利用运动数据以提升能效？
• RQ3 硬件运动控制器对CPU负载和系统级能耗有何影响？
• RQ4 基于运动的外推在多大程度上可维持精度的同时减少计算量？
• RQ5 与独立的算法优化或架构优化相比，算法-架构协同设计有何优势？

主要发现

• Euphrates在目标检测任务中实现了高达66%的系统级能效节省和4倍的视觉计算能效降低。
• 系统保持了基线模型99%的精度，目标检测任务中仅损失1%的精度。
• 在目标跟踪任务中，Euphrates实现了21%的能效节省，精度损失约为1%。
• 运动控制器实现了无CPU负载的始终开启连续视觉，因其可自主运行。
• 协同设计方法通过利用运动矢量降低推理频率，而无需修改底层CNN模型。
• 该系统表明，IP间协同——尤其是ISP与CNN加速器之间的协同——可带来显著的能效增益。