[논문 리뷰] DYNAP-SE2: a scalable multi-core dynamic neuromorphic asynchronous spiking neural network processor

Ole Richter, Chenxi Wu외 5명|arXiv (Cornell University)|2023. 10. 01.

Advanced Memory and Neural Computing참고 문헌 56인용 수 6

한 줄 요약

DYNAP-SE2는 이질적인 신경 회로를 모사하는 데 사용되는 아날로그 회로를 통해 짧은 시간 동안의 가소성, NMDA 게이팅, 스파ike 주파수 적응과 같은 생물학적으로 타당한 신경 동역학을 모사하는 확장 가능한 다코어 뉴로모픽 프로세서이다. 이는 저지연, 이벤트 기반 통신을 위한 이방식 디지털 라우팅 패브릭을 활용한다. 칩은 엣지에서 실시간으로 에너지 효율적인 감각 데이터 처리를 가능하게 하며, 복잡한 순환 스파iking 신경망을 지원한다.

ABSTRACT

With the remarkable progress that technology has made, the need for processing data near the sensors at the edge has increased dramatically. The electronic systems used in these applications must process data continuously, in real-time, and extract relevant information using the smallest possible energy budgets. A promising approach for implementing always-on processing of sensory signals that supports on-demand, sparse, and edge-computing is to take inspiration from biological nervous system. Following this approach, we present a brain-inspired platform for prototyping real-time event-based Spiking Neural Networks (SNNs). The system proposed supports the direct emulation of dynamic and realistic neural processing phenomena such as short-term plasticity, NMDA gating, AMPA diffusion, homeostasis, spike frequency adaptation, conductance-based dendritic compartments and spike transmission delays. The analog circuits that implement such primitives are paired with a low latency asynchronous digital circuits for routing and mapping events. This asynchronous infrastructure enables the definition of different network architectures, and provides direct event-based interfaces to convert and encode data from event-based and continuous-signal sensors. Here we describe the overall system architecture, we characterize the mixed signal analog-digital circuits that emulate neural dynamics, demonstrate their features with experimental measurements, and present a low- and high-level software ecosystem that can be used for configuring the system. The flexibility to emulate different biologically plausible neural networks, and the chip's ability to monitor both population and single neuron signals in real-time, allow to develop and validate complex models of neural processing for both basic research and edge-computing applications.

연구 동기 및 목표

• 엣지에서 항상 케이블링되어 있는 감각 신호를 실시간으로 처리할 수 있는 확장 가능하고 저전력의 뉴로모픽 프로세서를 개발하는 것.
• 짧은 시간 동안의 가소성, NMDA 게이팅, 균형 유지와 같은 생물학적으로 타당한 신경 동역학을 아날로그 회로를 통해 지원하는 것.
• 이벤트 기반 계산을 효율적이고 희박하게 수행할 수 있도록 이방식 디지털 라우팅 패브릭과 센서 인터페이싱을 위한 칩 내 아날로그 프론트엔드를 통합하는 것.
• 신경과학 연구 및 엣지 AI 응용 분야를 위한 복잡한 스파iking 신경망을 프로토타이핑하기 위한 유연한 소프트웨어 스택과 하드웨어 플랫폼을 제공하는 것.

제안 방법

• 칩은 2×2 코어로 구성된 1024개의 아날로그 적분-화이어 뉴런을 내장하고 있으며, 각 코어는 64개의 시냅스와 네 개의 수상돌기 가지를 갖추고 있으며, 서브스브리프트 CMOS 회로를 사용하여 신경 동역학을 모사한다.
• AMPA 확산, 전도도 기반 수상돌기 분할, 스파이크 전파 지연과 같은 신경 동역학은 물리적 시간에서 작동하는 혼합 신호 아날로그 회로를 통해 실현된다.
• 이방식, 계층적인 디지털 라우팅 네트워크를 통해 뉴런과 센서 간에 저지연, 클록 프리 이벤트 전송이 가능하며, 실시간 운영을 지원한다.
• 지속적인 신호를 주소-이벤트 표현으로 변환하기 위해 저노이즈 증폭기, 밴드패스 필터, 이방식 델타 모듈레이터를 포함한 칩 내 아날로그 프론트엔드(AFE)가 통합되어 있다.
• 2D 이벤트 프리프로세서는 동적 비전 센서(DVS)와 직접 인터페이스를 제공하며, 이벤트 스트림의 공간적·시간적 매핑을 지원한다.
• 종합적인 소프트웨어 스택은 칩에 SNN을 정의하고 배포하기 위한 저수준 설정 도구와 고수준 API를 포함한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 뉴로모픽 프로세서가 실시간으로 광범위한 생물학적으로 현실적인 신경 동역학을 효율적으로 모사할 수 있는가?
• RQ2 엣지 AI를 위한 저전력, 확장 가능하고 이방식 이벤트 기반 처리를 달성하기 위해 어떤 아키텍처 및 회로 수준 혁신이 필요한가?
• RQ3 어떻게 아날로그 뉴로모픽 회로를 디지털 이방식 라우팅과 통합하여 대규모, 저지연 SNN을 실현할 수 있는가?
• RQ4 이 칩은 다중 시간 상수 동역학을 갖는 복잡한 순환 SNN을 얼마나 잘 지원하여 지속적인 감각 신호 처리를 가능하게 할 수 있는가?
• RQ5 칩 내 AFE와 이벤트 프리프로세서의 통합은 DVS와 같은 이벤트 기반 센서와의 직접적이고 저지연 인터페이스를 가능하게 할 수 있는가?

주요 결과

• DYNAP-SE2 칩은 1024개의 아날로그 뉴런을 성공적으로 구현하였으며, 각 뉴런은 64개의 시냅스를 갖추고 있으며, 짧은 시간 동안의 가소성, NMDA 게이팅, 스파이크 주파수 적응과 같은 복잡한 동역학을 지원한다.
• 실험 측정 결과 아날로그 회로가 전도도 기반 수상돌기 통합 및 시간 상수가 최대 100,000초까지 유지되는 시냅스 무게 스케일링을 포함한 생물학적으로 타당한 신경 동역학을 정확하게 모사함을 확인하였다.
• 이방식 디지털 라우팅 패브릭은 최소한의 지터로 저지연 이벤트 전송을 달성하여 네트워크 전반에서 스파이크 이벤트의 실시간 처리를 가능하게 하였다.
• 칩 내 AFE와 이벤트 프리프로세서는 지속적인 신호와 DVS 이벤트를 주소-이벤트 스트림으로 직접 저전력으로 변환할 수 있게 하여 데이터 이동과 전력 소비를 감소시켰다.
• 단일 뉴런 및 인구 수준의 활동을 실시간으로 모니터링할 수 있어, 복잡한 신경 모델의 검증이 가능하다.
• 실험 결과 신경 동역학 이론 모델을 검증함으로써, 대규모 SNN 프로토타이핑에 대해 확장성과 설정 유연성을 입증하였다.