[논문 리뷰] Neuromorphic Intermediate Representation: A Unified Instruction Set for Interoperable Brain-Inspired Computing

Jens Egholm Pedersen, Steven Abreu외 13명|arXiv (Cornell University)|2023. 11. 24.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 스파iking 신경망을 이상화된 하이브리드 동적 시스템으로 모델링함으로써 다양한 뉴로모픽 하드웨어 및 소프트웨어 플랫폼 간의 상호운용성을 가능하게 하는 통합적이고 연속시간 기반의 계산 추상화인 뉴로모픽 중간 표현(NIR)을 소개한다. NIR는 하드웨어와 소프트웨어 개발을 분리함으로써 7개의 시뮬레이터와 4개의 하드웨어 플랫폼에서 일관된 동작 정밀도를 유지하면서 재현 가능하고 이식 가능한 뉴로모픽 계산을 가능하게 한다.

ABSTRACT

Spiking neural networks and neuromorphic hardware platforms that simulate neuronal dynamics are getting wide attention and are being applied to many relevant problems using Machine Learning. Despite a well-established mathematical foundation for neural dynamics, there exists numerous software and hardware solutions and stacks whose variability makes it difficult to reproduce findings. Here, we establish a common reference frame for computations in digital neuromorphic systems, titled Neuromorphic Intermediate Representation (NIR). NIR defines a set of computational and composable model primitives as hybrid systems combining continuous-time dynamics and discrete events. By abstracting away assumptions around discretization and hardware constraints, NIR faithfully captures the computational model, while bridging differences between the evaluated implementation and the underlying mathematical formalism. NIR supports an unprecedented number of neuromorphic systems, which we demonstrate by reproducing three spiking neural network models of different complexity across 7 neuromorphic simulators and 4 digital hardware platforms. NIR decouples the development of neuromorphic hardware and software, enabling interoperability between platforms and improving accessibility to multiple neuromorphic technologies. We believe that NIR is a key next step in brain-inspired hardware-software co-evolution, enabling research towards the implementation of energy efficient computational principles of nervous systems. NIR is available at neuroir.org

연구 동기 및 목표

• 이질적인 뉴로모픽 하드웨어 및 소프트웨어 스택 간의 상호운용성 부족으로 인한 재현 가능성 및 점진적 진전의 저해를 해결하기 위해.
• 디지털화 및 하드웨어 특화 제약 조건을 추상화한 공통의 계산 기준 프레임워크를 확립하기 위해.
• 뉴로모픽 소프트웨어와 하드웨어의 진화를 분리하여 독립적인 개발과 더 넓은 접근성을 가능하게 하기 위해.
• 이론가들이 뉴로모픽 회로와 동역학에 대해 추론할 수 있도록 안정적이고 형식화된 표현을 제공하기 위해.
• 다양한 뉴로모픽 시스템 간에 이식 가능하고 플랫폼에 구애받지 않는 스파이크 신경망 배포를 가능하게 하기 위해.

제안 방법

• 이dealized 동역학 방정식 기반의 연속시간 하이브리드 시스템 표현으로 NIR를 설계하여 수치적 통합 및 하드웨어 제약 조건에서 추상화하기.
• 그래프 기반 중간 표현에서 일급 구성요소로 LIF 뉴런, 시냅스, 인티그레이터 등 계산 원천을 정의하기.
• 컴파일러 스타일 변환을 통해 NIR 그래프와 다양한 뉴로모픽 시뮬레이터 및 하드웨어 플랫폼 간 双방향 매핑을 가능하게 하기.
• 형식적이고 수학적으로 기반을 둔 사양을 사용하여 이상화된 동역학과 실제 구현 간의 정확한 차이를 유지하기.
• 고수준 모델에서 NIR로, 그리고 목표 백엔드로의 변환을 보장하는 컴파일러 스택을 구현하여 동작 정밀도 확보하기.
• 3개의 벤치마크 모델(MNIST 분류기, 촉각 인식용 SRNN)을 7개의 시뮬레이터와 4개의 하드웨어 플랫폼에서 재현하여 접근법을 검증하기.

Figure 1 : High-level overview of what NIR is. (a) NIR allows for continuous-time representation of nodes that can then be executed on continuous-time hardware or simulators, or discretized for use on discrete-time hardware or simulators. (b) A taxonomy of discrete and continuous time hardware and s

실험 결과

연구 질문

• RQ1 통합 중간 표현이 다양한 뉴로모픽 시뮬레이터 및 하드웨어 플랫폼 간의 의미적·아키텍처적 격차를 메울 수 있는가?
• RQ2 연속시간 기반 하이브리드 동역학 시스템 표현이 이질적인 구현 환경 간에도 스파이크 신경망의 핵심 계산 행동을 유지할 수 있는가?
• RQ3 NIR가 뉴로모픽 소프트웨어와 하드웨어 개발을 얼마나 효과적으로 분리하면서도 동작 정밀도를 유지할 수 있는가?
• RQ4 NIR가 이산시간 및 연속시간 뉴로모픽 시스템 모두에서 일관된 모델 실행과 재현 가능성을 보장할 수 있는가?
• RQ5 ONNX나 MLIR와 같은 기존 중간 표현에 비해 NIR은 연속시간 뉴로모픽 동역학을 모델링하는 데 얼마나 우수한가?

주요 결과

• NIR는 7개의 시뮬레이터와 4개의 하드웨어 플랫폼에서 일관된 동작 결과를 보이며, MNIST 분류 및 스파이크 신경망 기반의 반복적 네트워크 등 세 가지 이질적인 뉴로모픽 모델을 성공적으로 재현하였다.
• 이dealized 수학적 형식화와 실제 실행 간의 완전한 동작 정밀도를 달성하였으며, 편차는 명시적이고 정량적으로 노출되었다.
• 서로보조 기울기와 정규화(ℓ¹ 및 ℓ² 스파이크 페널티)의 사용으로 최적의 초모수를 도출: μₗ₁=6×10⁻⁴, μₗ₂=4×10⁻⁶ (0, 바이어스) 및 μₗ₁=1×10⁻³, μₗ₂=1×10⁻⁶ (감산형, 바이어스 없음), 이로 인해 높은 검증 정확도를 달성하였다.
• 500 에포크 동안 Adam 최적화기(lr=0.005 또는 0.001)로 학습하여 안정적인 수렴을 달성하였으며, 검증 정확도 기반으로 최고의 모델을 선별하였다.
• NIR 컴파일러 스택은 이산시간 및 연속시간 백엔드 모두에 모델을 성공적으로 매핑하여 광범위한 호환성을 입증하였다.
• 오픈소스 NIR 라이브러리와 코드베이스는 https://github.com/neuromorphs/nir 에 공개되어 있어 커뮤니티의 채택 및 확장이 가능하다.

Figure 2 : a-d) shows four NIR primitives, where the name of the primitive is highlighted on top, the implemented computation is illustrated in the white box, and the parameters that are stored with the NIR graph are highlighted on the bottom. a) shows a stateful primitive, while b) and c) show stat