[논문 리뷰] NeuroBench: A Framework for Benchmarking Neuromorphic Computing Algorithms and Systems

Jason Yik, Berghe, Korneel Van den외 98명|arXiv (Cornell University)|2023. 04. 10.

Advanced Memory and Neural Computing인용 수 16

한 줄 요약

NeuroBench는 하드웨어 독립 평가를 위한 알고리즘 트랙과 하드웨어 배치를 위한 시스템 트랙을 갖춘 이중 트랙 벤치마크 프레임워크를 소개하며, 여러 작업에 대한 baseline 결과를 제공합니다.

ABSTRACT

Neuromorphic computing shows promise for advancing computing efficiency and capabilities of AI applications using brain-inspired principles. However, the neuromorphic research field currently lacks standardized benchmarks, making it difficult to accurately measure technological advancements, compare performance with conventional methods, and identify promising future research directions. Prior neuromorphic computing benchmark efforts have not seen widespread adoption due to a lack of inclusive, actionable, and iterative benchmark design and guidelines. To address these shortcomings, we present NeuroBench: a benchmark framework for neuromorphic computing algorithms and systems. NeuroBench is a collaboratively-designed effort from an open community of researchers across industry and academia, aiming to provide a representative structure for standardizing the evaluation of neuromorphic approaches. The NeuroBench framework introduces a common set of tools and systematic methodology for inclusive benchmark measurement, delivering an objective reference framework for quantifying neuromorphic approaches in both hardware-independent (algorithm track) and hardware-dependent (system track) settings. In this article, we outline tasks and guidelines for benchmarks across multiple application domains, and present initial performance baselines across neuromorphic and conventional approaches for both benchmark tracks. NeuroBench is intended to continually expand its benchmarks and features to foster and track the progress made by the research community.

연구 동기 및 목표

• Formal하고 포용적인 벤치마크 프레임워크를 제공하여 다양한 접근 방식 간의 공정한 비교를 가능하게 한다.
• 두 가지 응집된 트랙(알고리즘과 시스템)을 도입하여 소프트웨어/디자인과 배치된 하드웨어의 관점을 모두 다룬다.
• 커뮤니티 주도적이고 반복적인 벤치마크 세트를 오픈 도구 및 리더보드를 통해 진행 상황을 추적한다.
• 주요 뉴로모픽 벤치마크에서의 baseline 결과를 제시하여 알고리즘 효율성과 하드웨어 배치에 대한 향후 연구를 guider 한다.

제안 방법

• 하드웨어 독립적(알고리즘) 트랙과 하드웨어 의존적(시스템) 트랙 벤치마크를 정의한다.
• 정의로운, 재현 가능한 평가를 가능하게 하는 공통 해스와 측정치를 명시한다.
• 네 가지 알고리즘 트랙 벤치마크를 제안한다 (few-shot continual learning, event-based object detection, motor cortical decoding, chaotic forecasting)으로 복잡도 및 정확도 지표를 포함한다.
• FSCIL 키워드 태스크에서 ANN과 SNN 접근법의 기초 알고리즘 결과를 비교한다.
• 적용 가능한 작업 부하에서 뉴로모픽 하드웨어의 실제 속도와 효율성을 평가하는 시스템 트랙 프로토콜을 개략한다.

Figure 1 : The two NeuroBench tracks: algorithms and systems. Grey boxes designate what is defined by the benchmark, and orange boxes indicate what is unique to each solution. Connecting arrows between the two tracks denote the co-innovation between the tracks and the cross-stack innovation enabled

실험 결과

연구 질문

• RQ1 뉴로모픽 연구를 표준화하여 다양한 접근 방식 간의 공정하고 포용적인 벤치마킹을 가능하게 하려면 어떻게 해야 하는가?
• RQ2 뉴로모픽 방법의 알고리즘 복잡도, 정확성, 하드웨어 독립적 성능을 포착하는 핵심 지표는 무엇인가?
• RQ3 하드웨어 독립적 알고리즘 벤치마크가 이후의 시스템 트랙 하드웨어 설계 및 배치 전략에 어떻게 정보를 제공하는가?
• RQ4 현재의 ANN 및 SNN 접근 방식이 NeuroBench 하에서 대표적인 뉴로모픽 작업에서 어떤 Baseline 성능을 달성하는가?
• RQ5 NeuroBench가 시간이 지남에 따라 새로운 모달리티와 작업을 수용하도록 어떻게 발전할 수 있는가?

주요 결과

• NeuroBench는 알고리즘과 시스템의 이중 트랙 프레임워크와 이를 연결하는 공통 해스를 정의하여 하드웨어 독립적 비교 및 트랙 간의 교차 영향력을 가능하게 한다.
• 알고리즘 트랙의 벤치마크는 정확도와 복잡도 지표를 모두 포착하며, 발자국, 모델 실행 속도, 연결 희소성, 활성화 희소성, 시냅스 연산을 포함한다.
• v1.0 알고리즘 트랙에서 네 가지 벤치마크가 설정되었다: FSCIL, 이벤트 카메라 객체 탐지, 비인간 영장류 모터 예측, 혼돈 함수 예측.
• FSCIL 태스크에서 BASE 클래스로의 M5 ANN 및 SNN 베이스라인 비교는 다른 발자국, 실행 속도, 시냅스 연산 프로파일의 차이로 정확도와 효율성 간의 트레이드-오프를 보여준다.
• FSCIL 베이스라인은 기본 정확도 97.09% (ANN) 및 93.48% (SNN)를 달성하였으며, 발자국, 실행 속도, 희소성, 시냅스 연산에서 주목할 만한 차이를 보이며 정확도와 효율성 간의 trade-offs를 보여준다.
• 프레임워크는 오픈 소스이며 커뮤니티 주도적 확장을 위한 지속적인 개발을 위해 설계되었으며, 데이터 모달리티(IMU 등) 및 폐루프(tasks)와 같은 추가를 고려할 수 있다.

Figure 2 : An overview of the NeuroBench algorithm track.