[논문 리뷰] Implementing Spiking Neural Networks on Neuromorphic Architectures: A Review

Phu Khanh Huynh, M. Lakshmi Varshika외 4명|arXiv (Cornell University)|2022. 02. 17.

Advanced Memory and Neural Computing인용 수 23

한 줄 요약

소프트웨어 프레임워크와 설계 방법론의 포괄적 조사로, 뉴로모픽 하드웨어에서 스파이킹 신경망(SNNs)을 구현하기 위한 플랫폼 기반 설계, 하드웨어-소프트웨어 공동 설계, 매핑/컴파일 도구를 다룹니다.

ABSTRACT

Recently, both industry and academia have proposed several different neuromorphic systems to execute machine learning applications that are designed using Spiking Neural Networks (SNNs). With the growing complexity on design and technology fronts, programming such systems to admit and execute a machine learning application is becoming increasingly challenging. Additionally, neuromorphic systems are required to guarantee real-time performance, consume lower energy, and provide tolerance to logic and memory failures. Consequently, there is a clear need for system software frameworks that can implement machine learning applications on current and emerging neuromorphic systems, and simultaneously address performance, energy, and reliability. Here, we provide a comprehensive overview of such frameworks proposed for both, platform-based design and hardware-software co-design. We highlight challenges and opportunities that the future holds in the area of system software technology for neuromorphic computing.

연구 동기 및 목표

• SNN을 뉴로모픽 하드웨어에서 실시간, 에너지 효율적인 성능으로 실행하기 위한 시스템 소프트웨어 프레임워크의 필요성을 입증합니다.
• 뉴로모orphic 컴퓨팅을 위한 플랫폼 기반 설계 및 하드웨어-소프트웨어 공동 설계 접근 방법에 대한 포괄적인 개요를 제공합니다.
• 다양한 뉴로모픽 플랫폼에서 SNN을 매핑, 시뮬레이션, 배치하는 데 사용되는 주요 소프트웨어 추상화, 파이프라인 및 최적화 기술을 강조합니다.

제안 방법

• 뉴로모픽 컴퓨팅을 위한 시스템 소프트웨어 접근 방식의 조사 및 분류.
• 플랫폼 추상화에 대한 논의: 응용 소프트웨어, 시스템 소프트웨어, 하드웨어.
• 다양한 하드웨어 플랫폼(Loihi, SpiNNaker, TrueNorth, BrainScaleS, DYNAPs 등)에 걸친 컴파일, 매핑 및 런타임 전략.
• SNN을 코어 제약 조건에 맞추기 위해 사용되는 그래프 기반 분할, 클러스터링 및 배치 방법의 설명.
• 고수준 프레임워크와 언어(PyNN, Nengo, NEF) 및 하드웨어 매핑(LCompiler, PACMAN, SpiNeMap, Corelet, TENNLab)의 분석.

실험 결과

연구 질문

• RQ1 현재 및 신흥 뉴로모픽 하드웨어에서 SNN의 효율적이고 안정적인 배치를 가능하게 하는 시스템 소프트웨어 기법은 무엇인가?
• RQ2 플랫폼 기반 설계 및 하드웨어-소프트웨어 공동 설계 접근 방식이 뉴로모픽 컴퓨팅의 성능, 에너지, 안정성 제약을 어떻게 다루는가?
• RQ3 SNN을 뉴로모픽 코어 및 인터커넥트에 맞추기 위한 일반적인 매핑, 분할 및 컴파일 전략은 무엇인가?
• RQ4 다양한 뉴로모픽 플랫폼에서 SNN을 프로그래밍, 시뮬레이션 및 배포하기 위한 프레임워크는 어떤 것이 있으며, 그 한계와 기회는 무엇인가?

주요 결과

• 논문은 SNN 배치를 가능하게 하는 많은 소프트웨어 프레임워크와 방법론(예: SentryOS, corelet, LCompiler, PACMAN, PyNN, Nengo, NEF)을 목록화합니다.
• 플랫폼 기반 설계와 하드웨어-소프트웨어 공동 설계는 뉴로모픽 시스템의 복잡성과 다양성을 관리하는 필수 전략으로 확인됩니다.
• 다수의 매핑, 클러스터링, 분할 및 스케줄링 기법(예: PSO 기반 분할, Kernighan-Lin에서 영감을 받은 클러스터링, Hill-Climbing 런타임 매핑, SA 기반 작업 배치)은 코어 간 통신과 에너지를 최적화하는 데 사용됩니다.
• 리뷰는 고수준의 뉴럴 모델에서 하드웨어 의존 표현에 이르는 추상화 계층을 다루며, 소프트웨어 설계 시 하드웨어 제약(팬인/팬아웃, 크로스바 한계, 인터커넥트)을 고려해야 함을 강조합니다.
• 논문은 포터빌리티와 시뮬레이터 및 하드웨어 간의 효율적 배치를 가능하게 하는 NEF 기반 프레임워크와 고수준 데이터 흐름 표현의 역할을 강조합니다.