[論文レビュー] NeuroBench: A Framework for Benchmarking Neuromorphic Computing Algorithms and Systems

Jason Yik, Berghe, Korneel Van den+98 more|arXiv (Cornell University)|Apr 10, 2023

Advanced Memory and Neural Computing被引用数 16

ひとこと要約

NeuroBenchは、ハードウェア非依存評価用のアルゴリズムトラックとハードウェア展開用のシステムトラックを備えたニューロモルフィック計算のデュアルトラックベンチマークフレームワークを導入し、いくつかのタスクに対するベースライン結果を提供します。

ABSTRACT

Neuromorphic computing shows promise for advancing computing efficiency and capabilities of AI applications using brain-inspired principles. However, the neuromorphic research field currently lacks standardized benchmarks, making it difficult to accurately measure technological advancements, compare performance with conventional methods, and identify promising future research directions. Prior neuromorphic computing benchmark efforts have not seen widespread adoption due to a lack of inclusive, actionable, and iterative benchmark design and guidelines. To address these shortcomings, we present NeuroBench: a benchmark framework for neuromorphic computing algorithms and systems. NeuroBench is a collaboratively-designed effort from an open community of researchers across industry and academia, aiming to provide a representative structure for standardizing the evaluation of neuromorphic approaches. The NeuroBench framework introduces a common set of tools and systematic methodology for inclusive benchmark measurement, delivering an objective reference framework for quantifying neuromorphic approaches in both hardware-independent (algorithm track) and hardware-dependent (system track) settings. In this article, we outline tasks and guidelines for benchmarks across multiple application domains, and present initial performance baselines across neuromorphic and conventional approaches for both benchmark tracks. NeuroBench is intended to continually expand its benchmarks and features to foster and track the progress made by the research community.

研究の動機と目的

• 正式で包摂的なニューロモルフィック計算のベンチマークフレームワークを提供し、多様なアプローチ間の公正な比較を可能にする。
• ソフトウェア/設計とデプロイされたハードウェアの両方の視点を網羅する、2つのまとまりあるトラック（アルゴリズムとシステム）を導入する。
• コミュニティ主導の反復的なベンチマークスイートを、オープンツールとリーダーボードとともに提供し、進捗を追跡する。
• アルゴリズムの効率性とハードウェア展開を導く、主要なニューロモルフィックベンチマークでのベースライン結果を提示する。

提案手法

• ハードウェアに依存しない（アルゴリズム）とハードウェアに依存する（システム）ベンチマークトラックを定義する。
• 共通のハーネスと指標を規定して、多様なニューロモルフィックアプローチ間で公正かつ再現可能な評価を可能にする。
• 4つのアルゴリズムトラックベンチマークを提案します（few-shot continual learning、event-based object detection、motor cortical decoding、chaotic forecasting）で、複雑性と正確性の指標を用意。
• FSCILキーワードタスクでANNとSNNアプローチを比較したベースラインアルゴリズム結果を提供する。
• 適用可能なワークロード上でニューロモルフィックハードウェアの実世界の速度と効率を評価するためのシステムトラックプロトコルを概説する。

Figure 1 : The two NeuroBench tracks: algorithms and systems. Grey boxes designate what is defined by the benchmark, and orange boxes indicate what is unique to each solution. Connecting arrows between the two tracks denote the co-innovation between the tracks and the cross-stack innovation enabled

実験結果

リサーチクエスチョン

• RQ1 ニューロモルフィック研究をどのように標準化して、多様なアプローチ間の公正で包摂的なベンチマークを可能にできるか。
• RQ2 アルゴリズムの複雑性、正確性、ハードウェア非依存の性能を捉える主要な指標は何か。
• RQ3 ハードウェアに依存しないアルゴリズムベンチマークは、後のシステムトラックのハードウェア設計とデプロイ戦略にどのような情報を提供するか。
• RQ4 NeuroBench上で現在のANNとSNNアプローチが代表的なニューロモルフィックタスクでどのようなベースライン性能を達成しているか。
• RQ5 NeuroBenchは新しいモダリティとタスクにどのように適応して進化できるか。

主な発見

Task	Dataset	Correctness metric	Task description
Keyword FSCIL	MSWC	Accuracy	Few-shot, continual learning of keyword classes.
Event Camera Object Detection	Prophesee 1MP Automotive	COCO mAP	Detecting automotive objects from event camera video.
NHP Motor Prediction	Primate Reaching	R^2	Predicting fingertip velocity from cortical recordings.
Chaotic Function Prediction	Mackey-Glass time series	sMAPE	Autoregressive modeling of chaotic functions.

• NeuroBenchは2トラックのフレームワーク（アルゴリズムとシステム）と、ハードウェア依存・非依存の比較を可能にする共通ハーネスを定義し、トラック間のクロススタック影響を促進する。
• アルゴリズムトラックのベンチマークは、正確性と複雑性の指標を捉え、フットプリント、モデル実行レート、接続の sparsity、活性化の sparsity、シナプス演算を含む。
• In the v1.0 algorithm track, four benchmarks were established: FSCIL, event-camera object detection, non-human primate motor prediction, and chaotic function prediction.
• Baseline comparisons show M5 ANN and SNN baselines for the FSCIL task with differing footprints, execution rates, and synaptic operation profiles, illustrating trade-offs between accuracy and efficiency.
• The FSCIL baselines achieved base accuracies of 97.09% (ANN) and 93.48% (SNN) on base classes, with notable differences in footprint, execution rate, sparsity, and synaptic operations.
• The framework is open-source and designed for ongoing community-driven expansion, including potential additions of data modalities (e.g., IMU) and closed-loop tasks.

Figure 2 : An overview of the NeuroBench algorithm track.