[论文解读] Dynamic Vision Sensor integration on FPGA-based CNN accelerators for high-speed visual classification

Alejandro Linares-Barranco, Antonio Ríos-Navarro+2 more|arXiv (Cornell University)|May 17, 2019

CCD and CMOS Imaging Sensors被引用 7

一句话总结

本文提出了一种基于FPGA的硬件加速器，通过使用高层次综合（HLS）将动态视觉传感器（DVS）与CNN推理系统集成，实现了实时、高速的视觉分类。通过将事件直方图收集与归一化从ARM核心卸载到FPGA，系统相较于软件处理实现了67%的加速，时钟频率为60MHz时在Roshambo CNN上达到160fps，同时功耗降低并实现流水线处理。

ABSTRACT

Deep-learning is a cutting edge theory that is being applied to many fields. For vision applications the Convolutional Neural Networks (CNN) are demanding significant accuracy for classification tasks. Numerous hardware accelerators have populated during the last years to improve CPU or GPU based solutions. This technology is commonly prototyped and tested over FPGAs before being considered for ASIC fabrication for mass production. The use of commercial typical cameras (30fps) limits the capabilities of these systems for high speed applications. The use of dynamic vision sensors (DVS) that emulate the behavior of a biological retina is taking an incremental importance to improve this applications due to its nature, where the information is represented by a continuous stream of spikes and the frames to be processed by the CNN are constructed collecting a fixed number of these spikes (called events). The faster an object is, the more events are produced by DVS, so the higher is the equivalent frame rate. Therefore, these DVS utilization allows to compute a frame at the maximum speed a CNN accelerator can offer. In this paper we present a VHDL/HLS description of a pipelined design for FPGA able to collect events from an Address-Event-Representation (AER) DVS retina to obtain a normalized histogram to be used by a particular CNN accelerator, called NullHop. VHDL is used to describe the circuit, and HLS for computation blocks, which are used to perform the normalization of a frame needed for the CNN. Results outperform previous implementations of frames collection and normalization using ARM processors running at 800MHz on a Zynq7100 in both latency and power consumption. A measured 67% speedup factor is presented for a Roshambo CNN real-time experiment running at 160fps peak rate.

研究动机与目标

• 为克服传统相机在高速视觉应用中30fps的限制，利用动态视觉传感器（DVS）。
• 设计一种硬件加速的DVS事件处理流水线，与FPGA上的CNN推理加速器集成。
• 通过使用HLS将直方图归一化从ARM核心卸载到FPGA，以降低延迟和功耗。
• 实现DVS事件、归一化帧和CNN推理的流水线处理，以实现最大吞吐量。
• 在保持低资源开销的前提下，展示硬件实现相较于ARM核心软件处理在帧率和延迟方面的性能优势。

提出的方法

• 使用VHDL设计流水线化的FPGA架构，用于从地址-事件-表示（AER）DVS视网膜中收集事件。
• 使用高层次综合（HLS）实现直方图归一化，以生成高性能、硬件优化的计算模块。
• 通过BRAM将归一化后的直方图直接集成到NullHop CNN加速器中，绕过AXI-Stream DMA和ARM处理。
• 使用Zynq7100 FPGA平台，以60MHz时钟频率执行完整流水线：事件收集 → 归一化 → CNN推理。
• 消除ARM核心上cAER库和USB主机接口的依赖，以降低功耗和延迟。
• 实现流水线操作，使得下一帧的归一化数据在当前帧被CNN处理时已准备就绪。

实验结果

研究问题

• RQ1 与基于ARM的软件处理相比，基于FPGA的DVS事件处理硬件加速是否能显著降低延迟？
• RQ2 HLS优化的归一化逻辑在DVS-CNN流水线中能在多大程度上提升吞吐量并降低功耗？
• RQ3 将直方图归一化从ARM核心卸载到FPGA对整体系统功耗和资源利用率有何影响？
• RQ4 能否通过DVS事件、归一化和CNN推理的流水线处理实现在高帧率下的持续实时性能？
• RQ5 在帧率和延迟方面，硬件实现的DVS处理相较于软件实现的性能增益是多少？

主要发现

• 基于FPGA的系统相较于ARM软件实现获得了67%的加速，帧分类延迟从约10ms降低至约6ms。
• 在60MHz时钟频率下，使用硬件加速的DVS处理，系统在Roshambo CNN上达到峰值160fps。
• 功耗降低至500mW（包含ARM核心），而使用ARM核心运行相同任务时软件归一化功耗为1W。
• 硬件解决方案相比之前的软件版本，LUT增加18%，触发器增加4.5%，BRAM增加0.5%，DSP切片增加25%。
• 流水线设计实现了连续处理：当CNN正在计算当前帧时，下一帧的归一化数据已提前存储在BRAM中。
• 系统消除了对cAER库和USB主机接口的依赖，降低了系统复杂度和功耗。