[논문 리뷰] Speck: A Smart event-based Vision Sensor with a low latency 327K Neuron Convolutional Neuronal Network Processing Pipeline

Ole Richter, Yannan Xing외 10명|arXiv (Cornell University)|2023. 04. 13.

Advanced Memory and Neural Computing참고 문헌 49인용 수 8

한 줄 요약

Speck1은 칩 내 비동기 이벤트 기반 비전 센서로, 327K-뉴런 sCNN 파이프라인을 갖추고 있어 이벤트당 3.36 µs의 대기시간과 에지 비전 작업을 위한 높은 처리량을 달성합니다.

ABSTRACT

Edge computing solutions that enable the extraction of high-level information from a variety of sensors is in increasingly high demand. This is due to the increasing number of smart devices that require sensory processing for their application on the edge. To tackle this problem, we present a smart vision sensor System on Chip (SoC), featuring an event-based camera and a low-power asynchronous spiking Convolutional Neural Network (sCNN) computing architecture embedded on a single chip. By combining both sensor and processing on a single die, we can lower unit production costs significantly. Moreover, the simple end-to-end nature of the SoC facilitates small stand-alone applications as well as functioning as an edge node in larger systems. The event-driven nature of the vision sensor delivers high-speed signals in a sparse data stream. This is reflected in the processing pipeline, which focuses on optimising highly sparse computation and minimising latency for 9 sCNN layers to 3.36μs for an incoming event. Overall, this results in an extremely low-latency visual processing pipeline deployed on a small form factor with a low energy budget and sensor cost. We present the asynchronous architecture, the individual blocks, and the sCNN processing principle and benchmark against other sCNN capable processors.

연구 동기 및 목표

• 에지에서 고속, 저전력 감각 처리의 필요성을 동기화합니다.
• 이벤트 기반 카메라와 저전력 비동기 sCNN 프로세서를 단일 칩 시스템으로 통합하는 데모를 제공합니다.
• 실시간 비전 작업을 위한 초저지연 및 희소성 주도 계산을 달성합니다.
• 지연, 처리량 및 에너지 효율성 측면에서 Speck1을 다른 sCNN 프로세서와 비교 평가합니다.

제안 방법

• 단일 ASIC에서 Temporal Contrast 인코딩을 갖춘 128x128 이벤트 기반 비전 픽셀 센서를 설계하고 구현합니다.
• QDI DR 인코딩을 사용한 4-단계 핸드쉐이킹으로 in-memory compute를 갖춘 9층 비동기 스파이킹 CNN(sCNN) 파이프라인을 개발합니다.
• NoC(Network on Chip)을 스타 토폴로지로 통합하여 AER 이벤트를 두 개의 목적지로 최소한의 contendtion으로 라우팅합니다.
• ROI, 풀링, 회전/거울 반전, 극성 필터링 및 소스 매핑을 위한 센서 이벤트 전처리 블록을 만듭니다.
• 커널 앵커, 주소 스윕, 및 LIF 유사 동력을 위한 in-memory 뉴런 계산 유닛을 갖춘 컨볼루션 커를 구현합니다.
• 다중 채널 스파이크/클래스 카운트 및 비동기-동기 인터페이스를 갖춘 리드아웃 코어를 제공합니다.

실험 결과

연구 질문

• RQ1 통합된 이벤트 기반 센서와 전용 sCNN 파이프라인이 실시간 비전 작업에서-practical accuracy를 유지하며 초저지연을 달성할 수 있습니까?
• RQ2 비동기 이벤트 구동 아키텍처가 프레임 기반 CNN 가속기에 비해 에지 비전 응용에서 지연, 처리량, 에너지 측면에서 어떤 차이가 있습니까?
• RQ3 희소 이벤트 처리를 위한 칩-내 시냅스 메모리와 온더플라이 커널 계산의 이점은 면적 및 전력 측면에서 무엇입니까?

주요 결과

• 시스템은 ASIC 입력/출력 에지에서 9층 conv+pooling sCNN을 통해 이벤트당 지연 3.36 µs를 달성합니다.
• 아키텍처는 뉴런 계산 유닛당 약 30 M 이벤트/초의 처리량을 지원하여 희소 이벤트 스트림에 대한 높은 병렬성을 가능하게 합니다.
• 스파이크 변환 NMNIST 벤치마크에서 Speck1은 온칩 정확도 86.17%를 ANN2SNN으로, 98.56%를 BPTT-CNN 학습 체제로 오프라인에서 달성합니다.
• 프레임 기반 CNN 가속기에 비해 이벤트 기반 입력에 대해 현저히 낮은 지연을 제공하고 전체 프레임 배치 없이 실시간 처리를 수행합니다.
• 시냅스 메모리와 온더플라이 커널 계산은 일부 대형 SNN 프로세서(예: Loihi1/2)와 비교해 유사하거나 더 낮은 면적/에너지 예산으로 더 높은 시냅스 활용을 가능하게 합니다.
• Speck1의 추론당 보고된 에너지는 평가 구성에서 약 141 µJ(ANN2SNN) 및 180 µJ(BPTT-CNN) 범위입니다.