[논문 리뷰] SpiNNaker2: A Large-Scale Neuromorphic System for Event-Based and Asynchronous Machine Learning

Hector A. Gonzalez, Jiaxin Huang외 12명|arXiv (Cornell University)|2024. 01. 09.

Advanced Memory and Neural Computing인용 수 17

한 줄 요약

SpiNNaker2는 수천 개의 칩과 5-백만 코어 시스템에 걸친 대규모 SNN/ANN/하이브리드 모델을 가능하게 하는 이벤트 기반 및 비동기식 기계 학습을 위한 확장 가능한 디지털 뉴로모픽 플랫폼을 제공합니다.

ABSTRACT

The joint progress of artificial neural networks (ANNs) and domain specific hardware accelerators such as GPUs and TPUs took over many domains of machine learning research. This development is accompanied by a rapid growth of the required computational demands for larger models and more data. Concurrently, emerging properties of foundation models such as in-context learning drive new opportunities for machine learning applications. However, the computational cost of such applications is a limiting factor of the technology in data centers, and more importantly in mobile devices and edge systems. To mediate the energy footprint and non-trivial latency of contemporary systems, neuromorphic computing systems deeply integrate computational principles of neurobiological systems by leveraging low-power analog and digital technologies. SpiNNaker2 is a digital neuromorphic chip developed for scalable machine learning. The event-based and asynchronous design of SpiNNaker2 allows the composition of large-scale systems involving thousands of chips. This work features the operating principles of SpiNNaker2 systems, outlining the prototype of novel machine learning applications. These applications range from ANNs over bio-inspired spiking neural networks to generalized event-based neural networks. With the successful development and deployment of SpiNNaker2, we aim to facilitate the advancement of event-based and asynchronous algorithms for future generations of machine learning systems.

연구 동기 및 목표

• 대규모 모델과 에지/에지-클라우드 응용을 위한 밀집 GPU 중심 ML 패러다임에 대한 에너지 효율적이고 확장 가능한 대안을 제시한다.
• 이벤트 기반 처리 및 비동기 계산을 위한 SpiNNaker2의 아키텍처, 인터커넥트 및 코어 기능을 설명한다.
• ANNs, SNNs 및 이벤트 기반 하이브드 네트워크의 SpiNNaker2 매핑을 시연하고 초기 알고리즘적 접근법(학습 및 추론)을 개요한다.
• 데이터 이동을 줄이고 다이나믹 전압/주파수 스케일링을 지원하는 알고리즘적 및 아키텍처적 전략을 선보인다.]
• method':['SpiNNaker2 칩 아키텍처를 칩당 152 ARM Cortex M4F 코어와 노드당 2GB DRAM을 갖춘 형태로 설명한다.','스케일러블하고 비동기식 이벤트 통신을 가능하게 하는 칩 내 NoC, 패킷 라우팅 및 6-이웃 링크를 설명한다.','코어 수준 가속(예: 8/16비트 행렬 연산, 난수 생성 등)과 에너지 인식형 다이나믹 전압/클럭 스케일링에 대해 논의한다.','유한 상태 기계와 분산 데이터 흐름을 갖춘 단일 온칩 스케줄러를 사용한 ANN 실행에 대한 스케줄링 접근법을 제시한다.','메모리 효율적 학습을 달성하기 위한 희소-대-희소 학습을 위한 deep rewiring을 도입한다.','이벤트 기반 처리에 의한 SNN의 매핑 및 실행 흐름을 개요하고, SNN용 교환 형식으로 NIR을 포함한다.','이벤트 기반 학습 규칙(EventProp, e-prop) 및 SpiNNaker2에서의 구현을 설명하고, 멀티캐스트 라우팅 및 배치-병렬 학습을 포함한다.]','research_questions':['전통적인 밀집형 가속기와 비교하여 이벤트 기반 및 비동기 ML 모델의 학습 및 추론에 대해 SpiNNaker2가 경쟁력 있는 에너지 효율을 제공할 수 있는가?','ANNs, SNNs 및 하이브리드 이벤트 기반 네트워크를 SpiNNaker2 기반 패브릭에서 대규모로 매핑하고 실행하는 방법은?','어떤 학습 알고리즘(EventProp, e-prop, deep rewiring 등)이 SpiNNaker2 하드웨어에서 실행 가능하며, 성능/에너지 프로파일은 어떠한가?','대규모 뉴로모픽 워크로드에서 확장 가능하고 실시간 작동을 가능하게 하는 어떤 아키텍처 및 소프트웨어 전략이 있는가?]','key_findings':['SpiNNaker2는 수백만 개의 코어까지 확장 가능한 시스템에서 이벤트 기반 및 비동기 ML의 대규모 실행을 가능하게 한다.','에너지 효율적인 2D/6-이웃 칩 인터커넥트가 코어 수준에서 다이나믹 전압 및 주파수 스케일링과 함께 확장 가능하고 실시간 작동을 지원한다.','메모리 효율적인 희소-대-희소 학습(deep rewiring)을 시연하여 매우 제약된 메모리(64 kB)와 낮은 연결성으로 주목할 만한 MNIST 정확도와 칩 내 에너지 절감을 달성했다.','이벤트 기반 역전파(EventProp)은 다중-캐스트 라우팅을 사용하여 다계층 SNN에 대한 그래디언트 기반 학습을 수행하도록 SpiNNaker2에 구현될 수 있다.','E-prop(온라인 학습 for SRNNs) on SpiNNaker2 achieves competitive accuracy (e.g., 91.12%) under real-time conditions with reduced memory usage.','The system supports neuromorphic intermediate representation (NIR) and tools (py-spinnaker2) to train and deploy SNNs on SpiNNaker2 across multiple cores.']
• table_headers:
• table_rows:

제안 방법

• ://] } } )} } ]} } } }
• title_translation_missing_for_JSON_fields

실험 결과

연구 질문

• RQ1 Can SpiNNaker2 provide competitive energy efficiency for training and inference of event-based and asynchronous ML models compared to traditional dense accelerators?
• RQ2 How can ANNs, SNNs, and hybrid event-based networks be mapped and executed at scale on a SpiNNaker2-based fabric?
• RQ3 What learning algorithms (e.g., EventProp, e-prop, deep rewiring) are viable on SpiNNaker2 hardware, and what are their performance/energy profiles?
• RQ4 What architectural and software strategies enable scalable, real-time operation for large-scale neuromorphic workloads?

주요 결과

• SpiNNaker2 enables large-scale event-based and asynchronous ML on a system conceived for up to millions of cores reaching about 5 million processing elements.
• An energy-efficient 2D/6-neighbour chip interconnect supports scalable, real-time operation with dynamic voltage and frequency scaling at the core level.
• Demonstrated memory-efficient sparse-to-sparse training (deep rewiring) achieving notable MNIST accuracy with very constrained memory (64 kB) and low connectivity, with on-chip energy savings.
• Event-based backpropagation (EventProp) can be implemented on SpiNNaker2 using multi-cast routing to perform gradient-based learning for multi-layer SNNs.
• E-prop (online learning for SRNNs) on SpiNNaker2 achieves competitive accuracy (e.g., 91.12%) under real-time conditions with reduced memory usage.
• The system supports neuromorphic intermediate representation (NIR) and tools (py-spinnaker2) to train and deploy SNNs on SpiNNaker2 across multiple cores.