[논문 리뷰] Kraken: A Direct Event/Frame-Based Multi-sensor Fusion SoC for Ultra-Efficient Visual Processing in Nano-UAVs

Alfio Di Mauro, Moritz Scherer외 2명|arXiv (Cornell University)|2022. 01. 01.

CCD and CMOS Imaging Sensors인용 수 3

한 줄 요약

Kraken은 22nm 이방성 시스템온칩(SoC)으로, 전용 가속기들을 통해 이벤트 기반(DVS) 및 프레임 기반(BW/RGB) 센서를 융합하여 나노-드론에서 초효율적이고 동시적인 시각 처리를 가능하게 한다. 이는 삼항 추론에서 1036 TOp/s/W의 에너지 효율을 달성하였으며, 스파iking 신경망 광속도 추정에 98mW를 소비하고, 최신 기술 대비 1.66배 높은 처리량을 확보하여 1W 이내의 전력 제약 조건에서도 전면적인 차량 내 자율주행을 가능하게 한다.

ABSTRACT

Small-size unmanned aerial vehicles (UAV) have the potential to dramatically increase safety and reduce cost in applications like critical infrastructure maintenance and post-disaster search and rescue. Many scenarios require UAVs to shrink toward nano and pico-size form factors. The key open challenge to achieve true autonomy on Nano-UAVs is to run complex visual tasks like object detection, tracking, navigation and obstacle avoidance fully on board, at high speed and robustness, under tight payload and power constraints. With the Kraken SoC, fabricated in 22nm FDX technology, we demonstrate a multi-visual-sensor capability exploiting both event-based and BW/RGB imagers, combining their output for multi-functional visual tasks previously impossible on a single low-power chip for Nano-UAVs. Kraken is an ultra-low-power, heterogeneous SoC architecture integrating three acceleration engines and a vast set of peripherals to enable efficient interfacing with standard frame-based sensors and novel event-based DVS. Kraken enables highly sparse event-driven sub-uJ/inf SNN inference on a dedicated neuromorphic energy-proportional accelerator. Moreover, it can perform frame-based inference by combining a 1.8TOp\s\W 8-cores RISC-V processor cluster with mixed-precision DNN extensions with a 1036TOp\s\W} TNN accelerator.

연구 동기 및 목표

• 엄격한 전력 및 적재 제약 조건 하에서 나노-드론에서 전면적인 차량 내 시각 자율주행을 가능하게 한다.
• 이벤트 기반(DVS) 및 프레임 기반(BW/RGB) 센서 처리를 단일 저전력 SoC에 통합한다.
• 자원 제약 조건이 있는 환경에서 스파iking 및 딥 신경망 추론을 위한 초고효율 에너지 효율성을 확보한다.
• 다양한 시각 작업을 동시에 실행할 수 있는 이방성 가속기 아키텍처를 개발한다.

제안 방법

• 32비트 RISC-V 플랫폼 제어기(FC)를 사용하여 세 종류의 전용 가속기로의 계산을 관리하고 오프로드한다.
• 희소한 비동기적 DVS 이벤트를 조밀한 계산 버스트를 통해 효율적으로 처리하기 위해 명시적 좌표 목록(COO) 표현 방식을 사용한 희소 신경 엔진(SNE)을 활용한다.
• 모든 삼항 가중치를 1.6비트 압축 형식으로 내장하여 채널당 주기당 한 개의 출력 활성화를 가능하게 하는 완전 편집된 삼항 추론 엔진(CUTIE)을 구현한다.
• 8개의 RISC-V 코어로 구성된 병렬 초저전력 클러스터(PULP)를 통합하여 하드웨어 루프, MAC-LD, 혼합 정밀도 부동소수점 및 SIMD 확장을 지원하여 DNN 추론을 효율적으로 수행한다.
• 8코어 RISC-V 클러스터(1.8 TOp/s/W)와 1036 TOp/s/W TNN 가속기를 결합하고 SNE를 통합하여 다중 모odal 시각 처리를 실현한다.
• 1MiB L2 스크래치패드 SRAM과 전력 게이트 가능 가속기를 사용하여 동적 및 정적 전력 소비를 최소화한다.

실험 결과

연구 질문

• RQ1 단일 초저전력 SoC가 자율 나노-드론 항법을 위한 이벤트 기반 및 프레임 기반 시각 데이터를 효율적으로 융합할 수 있는가?
• RQ2 이방성 임베디드 아키텍처에서 스파킹 신경망(SNN) 및 삼항 신경망(TNN) 추론을 위한 에너지 효율은 어느 정도 달성될 수 있는가?
• RQ3 전용 가속기(SNE, CUTIE, PULP)의 통합은 최신 기술 대비 시각 작업의 처리량과 에너지 효율 측면에서 어떻게 비교되는가?
• RQ4 희소 이벤트 기반 처리가 실시간 광속도 추정에서 에너지 소비를 얼마나 줄일 수 있는가?
• RQ5 제안된 아키텍처는 1W 전력 제약 내에서 다중 시각 작업(항법, 장애물 회피, 물체 탐지)을 동시에 실행할 수 있는가?

주요 결과

• SNE는 네트워크 활동률 1%일 때 20800 인퍼런스/초, 활동률 20%일 때 1019 인퍼런스/초를 달성하며, 222MHz 및 0.8V에서 98mW 소비를 기록한다.
• CUTIE 가속기는 1036 TOp/s/W의 에너지 효율을 확보하여 최신 기술 대비 2배 뛰어나며, 삼항화된 네트워크로 CIFAR10에서 [5]보다 2% 높은 정확도를 확보한다.
• PULP 클러스터는 80mW에서 DroNet 기반 항법에 대해 28 인퍼런스/초를 달성하였으며, MAC-LD 지원 덕분에 동일 주파수에서 Vega [7] 대비 1.66배 높은 처리량을 확보한다.
• 4비트 및 2비트 컨볼루션에서 Kraken의 SIMD 확장은 최신 기술 대비 2.6배 이상 높은 에너지 효율을 제공한다.
• SNE는 6층 CSNN에서 IBM-DVSGesture 데이터셋에서 92% 정확도를 달성하였으며, 최신 기술 대비 1.7배 높은 에너지 효율을 확보하였다.
• Kraken의 이방성 아키텍처는 단일 1W 전력 제약 내에서 광속도 추정(SNE), 물체 탐지(CUTIE), 장애물 회피(PULP)를 동시에 실행할 수 있도록 한다.