[논문 리뷰] Dynamic Vision Sensor integration on FPGA-based CNN accelerators for high-speed visual classification

Alejandro Linares-Barranco, Antonio Ríos-Navarro외 2명|arXiv (Cornell University)|2019. 05. 17.

CCD and CMOS Imaging Sensors인용 수 7

한 줄 요약

이 논문은 고수준 합성(HLS)을 사용하여 동적 비전 센서(DVS)를 컨volutional 신경망(CNN) 추론 시스템과 통합하는 FPGA 기반 하드웨어 가속기의 설계를 제안한다. 이는 실시간 고속 시각 분류를 달성하기 위해 고안되었다. ARM 코어에서 이벤트 히스토GRAM 수집 및 정규화를 FPGA로 이관함으로써 소프트웨어 기반 처리 대비 67%의 속도 향상을 달성하였으며, 60MHz 클럭 주파수에서 Roshambo CNN에서 160fps를 기록하였고, 전력 소비는 감소하고 파이ipel라인 처리가 가능해졌다.

ABSTRACT

Deep-learning is a cutting edge theory that is being applied to many fields. For vision applications the Convolutional Neural Networks (CNN) are demanding significant accuracy for classification tasks. Numerous hardware accelerators have populated during the last years to improve CPU or GPU based solutions. This technology is commonly prototyped and tested over FPGAs before being considered for ASIC fabrication for mass production. The use of commercial typical cameras (30fps) limits the capabilities of these systems for high speed applications. The use of dynamic vision sensors (DVS) that emulate the behavior of a biological retina is taking an incremental importance to improve this applications due to its nature, where the information is represented by a continuous stream of spikes and the frames to be processed by the CNN are constructed collecting a fixed number of these spikes (called events). The faster an object is, the more events are produced by DVS, so the higher is the equivalent frame rate. Therefore, these DVS utilization allows to compute a frame at the maximum speed a CNN accelerator can offer. In this paper we present a VHDL/HLS description of a pipelined design for FPGA able to collect events from an Address-Event-Representation (AER) DVS retina to obtain a normalized histogram to be used by a particular CNN accelerator, called NullHop. VHDL is used to describe the circuit, and HLS for computation blocks, which are used to perform the normalization of a frame needed for the CNN. Results outperform previous implementations of frames collection and normalization using ARM processors running at 800MHz on a Zynq7100 in both latency and power consumption. A measured 67% speedup factor is presented for a Roshambo CNN real-time experiment running at 160fps peak rate.

연구 동기 및 목표

• 기존 카메라의 30fps 제한을 초고속 시각 응용 분야에서 극복하기 위해 동적 비전 센서(DVS)를 활용하는 것.
• FPGA에 통합된 CNN 추론 가속기와 연계된 DVS 이벤트 처리를 위한 하드웨어 가속 파이프라인 설계.
• HLS를 사용해 ARM 코어에서 FPGA로 히스토GRAM 정규화를 이관함으로써 지연과 전력 소비를 감소시키는 것.
• 최대 처리량을 확보하기 위해 DVS 이벤트, 정규화 프레임, CNN 추론의 파이ipel라인 처리를 가능하게 하는 것.
• 소프트웨어 기반 DVS 처리 대비 하드웨어 기반 처리에서 자원 소모가 적은 수준을 유지하면서도 67%의 속도 향상을 입증하는 것.

제안 방법

• 주소-이벤트-표현(AER) DVS 레티나에서 이벤트 수집을 위한 VHDL 기반 파이ipel라인 FPGA 아키텍처 설계.
• 고성능 및 하드웨어 최적화된 계산 블록을 위해 고수준 합성(HLS)을 사용한 히스토GRAM 정규화 구현.
• AXI-Stream DMA 및 ARM 처리를 생략하고 BRAM를 통해 정규화된 히스토GRAM을 NullHop CNN 가속기로 직접 통합.
• 60MHz 클럭 주파수를 사용하는 Zynq7100 FPGA 플랫폼에서 전체 파이프라인 실행: 이벤트 수집 → 정규화 → CNN 추론.
• ARM 코어에서 cAER 라이브러리 및 USB-호스트 인터페이스가 필요 없어져 전력 소비와 지연을 감소시킴.
• 다음 프레임의 정규화된 데이터가 BRAM에 준비되어 있을 때 현재 프레임이 CNN에 의해 처리되는 파이ipel라인 동작을 가능하게 함.

실험 결과

연구 질문

• RQ1 ARM 기반 소프트웨어 처리에 비해 FPGA 기반 하드웨어 가속을 통한 DVS 이벤트 처리에서 지연을 크게 감소시킬 수 있는가?
• RQ2 HLS 최적화된 정규화 논리가 DVS-CNN 파이프라인의 처리량 향상과 전력 소비 감소에 어느 정도 기여하는가?
• RQ3 ARM 코어에서 FPGA로 히스토GRAM 정규화를 이관할 경우 전체 시스템의 전력 소비와 자원 활용도에 어떤 영향을 미치는가?
• RQ4 DVS 이벤트, 정규화, CNN 추론의 파이ipel라인 처리가 고프레임 레이트에서 지속적인 실시간 성능을 달성할 수 있는가?
• RQ5 소프트웨어 기반 처리에 비해 하드웨어 기반 DVS 처리의 성능 향상은 프레임 레이트와 지연 측면에서 어느 정도인가?

주요 결과

• FPGA 기반 시스템은 ARM 기반 소프트웨어 구현 대비 67%의 속도 향상을 달성하여, 프레임 분류 지연을 약 10ms에서 약 6ms로 감소시켰다.
• 60MHz 클럭 주파수에서 하드웨어 가속된 DVS 처리를 사용하여 Roshambo CNN에서 최고 160fps의 프레임 레이트를 달성하였다.
• 전력 소비는 ARM 코어를 포함해 500mW로 감소하였으며, 이는 ARM 코어에서 소프트웨어 정규화를 수행할 경우 1W였던 것과 비교한 것이다.
• 하드웨어 솔루션은 이전 소프트웨어 기반 버전 대비 LUT 18%, 플립플롭 4.5%, BRAM 0.5%, DSP 슬라이스 25% 더 소비하였다.
• 파이ipel라인 처리 덕분에 지속적인 처리가 가능해졌으며, CNN이 현재 프레임을 처리하는 동안 다음 프레임의 정규화된 데이터가 이미 BRAM에 준비되어 있었다.
• cAER 라이브러리 및 USB-호스트 인터페이스에 대한 의존성이 제거되어 시스템 복잡도와 전력 소비가 감소하였다.