[논문 리뷰] SNE: an Energy-Proportional Digital Accelerator for Sparse Event-Based Convolutions

Alfio Di Mauro, Arpan Suravi Prasad외 4명|arXiv (Cornell University)|2022. 01. 01.

Advanced Memory and Neural Computing인용 수 3

한 줄 요약

이 논문은 시간적 및 공간적 이벤트 위치를 명시적으로 인코딩하여 희박한 이벤트 기반 컨볼루션 신경망(eCNNs)에 대해 에너지 비례 추론을 수행하는 디지털 뉴로모픽 가속기인 SNE를 제안한다. SNE는 IBM DVS-Gesture 데이터셋에서 92.8%의 정확도를 기록하며, 4.54 TOP/s/W의 에너지 효율성과 0.221 pJ/SOP의 최저 연산당 에너지 소비를 달성하여, 디지털 뉴로모픽 플랫폼에서 보고된 바 있는 최저 수준의 연산당 에너지 소비를 확보한다.

ABSTRACT

Event-based sensors are drawing increasing attention due to their high temporal resolution, low power consumption, and low bandwidth. To efficiently extract semantically meaningful information from sparse data streams produced by such sensors, we present a 4.5TOP/s/W digital accelerator capable of performing 4-bits-quantized event-based convolutional neural networks (eCNN). Compared to standard convolutional engines, our accelerator performs a number of operations proportional to the number of events contained into the input data stream, ultimately achieving a high energy-to-information processing proportionality. On the IBM-DVS-Gesture dataset, we report 80uJ/inf to 261uJ/inf, respectively, when the input activity is 1.2% and 4.9%. Our accelerator consumes 0.221pJ/SOP, to the best of our knowledge it is the lowest energy/OP reported on a digital neuromorphic engine.

연구 동기 및 목표

• 이벤트 기반 센서에서 발생하는 희박하고 비동기적인 이벤트 스트림을 처리하는 데 있어 기존 가속기의 에너지 비효율성 문제를 해결하기 위해.
• 입력 활동에 비례하여 연산이 스케일링되는 에너지 비례 계산을 가능하게 하여, 에너지와 정보의 비례 관계를 유지하기 위해.
• 희박한 스파iking 신경망을 위해 데이터 및 가중치 재사용을 극대화하고 메모리 트래픽을 최소화하는 디지털 가속기 설계를 위해.
• 이벤트 기반 벤치마크에서 정확도를 희생시키지 않은 채로 디지털 뉴로모픽 플랫폼에서 최고 수준의 에너지 효율성을 달성하기 위해.

제안 방법

• SNE는 메모리 프로필을 줄이고 데이터 재사용을 향상시키기 위해 입력 이벤트의 시간적 및 공간적 좌표를 명시적으로 인코딩한다.
• 아키텍처는 희박한 입력 간격을 압축하면서도, 조밀한 계산 단계에서 동기적이고 병렬적인 계산을 수행한다.
• 가변형 토폴로지로 구성된 4비트 양자화된 eCNN 추론 엔진을 사용하여 컨볼루션 및 풀링 레이어를 지원한다.
• 희박한 활성화 및 가중치를 효율적으로 처리하기 위해 파이ipel라인화된 시스톨릭 유사 처리 어레이를 활용한다.
• 이벤트 도착 시에만 뉴런 상태를 선택적으로 업데이트함으로써 메모리 액세스를 최소화하고, 불필요한 연산을 줄인다.
• 22nm 디지털 기술을 최적화하여 고성능을 저전력으로 달성하며, 400MHz 동작을 지원한다.

실험 결과

연구 질문

• RQ1 디지털 뉴로모픽 가속기가 희박한 이벤트 기반 데이터 스트림에 대해 에너지 비례 계산을 달성할 수 있는가?
• RQ2 높은 정확도를 유지하면서도 디지털 eCNN 가속기에서 달성 가능한 최소한의 연산당 에너지 소비는 얼마인가?
• RQ3 명시적인 이벤트 인코딩이 희박한 SNN 추론에서 메모리 효율성과 계산 처리량을 어떻게 향상시키는가?
• RQ4 디지털 가속기가 아날로그 뉴로모픽 플랫폼의 에너지 효율성에 얼마나 가까이 다가설 수 있는가?
• RQ5 디지털 가속기가 희박하고 비정형 데이터 워크로드에서 전통적인 DNN 가속기 수준의 최고 수준의 에너지 효율성을 달성할 수 있는가?

주요 결과

• SNE는 4.54 TOP/s/W의 에너지 효율성을 달성하여, 기존 최고 성능의 뉴로모픽 플랫폼(Pei et al., 2021) 대비 3.55배 향상된 성능을 기록한다.
• 가속기는 현재까지 보고된 바 있는 어떤 디지털 뉴로모픽 플랫폼보다도 낮은 0.221 pJ/SOP의 연산당 에너지 소비를 기록한다.
• IBM DVS-Gesture 데이터셋에서 SNE는 입력 활동률이 1.2%일 경우 80 µJ/inf, 4.9%일 경우 261 µJ/inf의 추론 에너지를 소비하며, 92.8%의 분류 정확도를 달성한다.
• 400MHz에서 SNE는 입력 활동에 따라 최대 141 inf/s(최선의 경우)에서 최소 43 inf/s(최악의 경우)의 추론 속도를 지원한다.
• 희박한 입력 스트림에도 불구하고 최대 51.2 GSOP/s의 높은 처리량을 기록한다.
• 0.9V 동작으로 확장해도 SNE는 4.03 TOP/s/W의 높은 에너지 효율성과 0.248 pJ/SOP의 연산당 에너지 소비를 유지한다.