[論文レビュー] SpiNNaker2: A Large-Scale Neuromorphic System for Event-Based and Asynchronous Machine Learning

Hector A. Gonzalez, Jiaxin Huang+12 more|arXiv (Cornell University)|Jan 9, 2024

Advanced Memory and Neural Computing被引用数 17

ひとこと要約

SpiNNaker2は、数千のチップと5百万コアのシステムにまたがる大規模なSNN/ANN/ハイブリッドモデルを実現する、イベントベースと非同期機械学習のためのスケーラブルなデジタルニューロモルフィックプラットフォームを提示します。

ABSTRACT

The joint progress of artificial neural networks (ANNs) and domain specific hardware accelerators such as GPUs and TPUs took over many domains of machine learning research. This development is accompanied by a rapid growth of the required computational demands for larger models and more data. Concurrently, emerging properties of foundation models such as in-context learning drive new opportunities for machine learning applications. However, the computational cost of such applications is a limiting factor of the technology in data centers, and more importantly in mobile devices and edge systems. To mediate the energy footprint and non-trivial latency of contemporary systems, neuromorphic computing systems deeply integrate computational principles of neurobiological systems by leveraging low-power analog and digital technologies. SpiNNaker2 is a digital neuromorphic chip developed for scalable machine learning. The event-based and asynchronous design of SpiNNaker2 allows the composition of large-scale systems involving thousands of chips. This work features the operating principles of SpiNNaker2 systems, outlining the prototype of novel machine learning applications. These applications range from ANNs over bio-inspired spiking neural networks to generalized event-based neural networks. With the successful development and deployment of SpiNNaker2, we aim to facilitate the advancement of event-based and asynchronous algorithms for future generations of machine learning systems.

研究の動機と目的

• 大規模モデルやエッジ/エッジクラウドアプリケーション向けの密なGPU中心のMLパラダイムに対するエネルギー効率の高い、スケーラブルな代替手段を動機づける。
• イベントベース処理と非同期計算のためのSpiNNaker2のアーキテクチャ、インターコネクト、コア機能を説明する。
• ANN、SNN、およびハイブリッドイベントベースネットワークをSpiNNaker2にマッピングし、初期のアルゴリズム的アプローチ（訓練と推論）を概説する。
• データ移動を削減し、動的電圧/周波数スケーリングをサポートするアルゴリズム的・アーキテクチャ的戦略を紹介する。

提案手法

• SpiNNaker2チップのアーキテクチャを、1チップあたり152個のARM Cortex M4Fコアとノードあたり2GBのDRAMとともに説明する。
• オンチップNoC、パケットルーティング、6-neighbourリンクがスケーラブルで非同期なイベント通信を可能にすることを説明する。
• コアレベルの加速（例：8/16ビット行列演算、乱数生成など）とエネルギー認識型のダイナミック電圧/クロックスケーリングを議論する。
• 単一のオンチップスケジューラと有限状態マシン、分散データフローを用いたANN実行のスケジューリングアプローチを提示する。
• メモリ効率の高い学習を実現するためのスパース〜スパーストレーニングのDeep rewiringを導入する。
• SNNをイベントベース処理でマッピング・実行するための流れを概説し、SNNの交流形式としてNIRを導入する。
• イベントベース学習規則（EventProp、e-prop）とそれらのSpiNNaker2上での実装を説明し、マルチキャストルーティングとバッチ並列学習を含める。

実験結果

リサーチクエスチョン

• RQ1 SpiNNaker2は、イベントベースおよび非同期MLモデルの訓練と推論において、従来の密なアクセラレータと比較して競争力のあるエネルギー効率を提供できるか。
• RQ2 ANN、SNN、およびハイブリッドイベントベースネットワークをSpiNNaker2ベースのファブリックでスケールに合わせてマッピング・実行できるか。
• RQ3 SpiNNaker2ハードウェア上で実現可能な学習アルゴリズム（例：EventProp、e-prop、deep rewiring）は何であり、それらの性能/エネルギー特性はどうか。
• RQ4 大規模ニューロモルフィックワークロードのためのスケーラブルでリアルタイムな運用を可能にするアーキテクチャ的・ソフトウェア的戦略は何か。

主な発見

• SpiNNaker2は、最大数百万コアを想定したシステム上،約5百万の処理要素に到達する大規模なイベントベースおよび非同期MLを実現する。
• エネルギー効率の高い2D/6-neighbourチップインターコネクトが、コアレベルでのダイナミック電圧および周波数スケーリングとともに、スケーラブルでリアルタイムな運用をサポートする。
• メモリ効率の高いスパース〜スパーストレーニング（Deep rewiring）を実証し、非常に制約されたメモリ（64 kB）と低接続性でMNIST精度を達成し、オンチップのエネルギー節約を実現した。
• イベントベースのバックプロパゲーション（EventProp）は、SpiNNaker2上でマルチキャストルーティングを用いて多層SNNの勾配ベース学習を実行できる。
• E-prop（オンライン学習 for SRNNs）は、実時間条件下で記憶使用を抑えつつ競争力のある精度（例：91.12%）を達成する。
• システムはニューロモルフィック中間表現（NIR）とツール（py-spinnaker2）をサポートし、複数コアにまたがるSpiNNaker2上でSNNを訓練・デプロイできる。