[論文レビュー] Neuromorphic Intermediate Representation: A Unified Instruction Set for Interoperable Brain-Inspired Computing

Jens Egholm Pedersen, Steven Abreu+13 more|arXiv (Cornell University)|Nov 24, 2023

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本論文は、スパikingニューラルネットワークを理想化されたハイブリッド力学系としてモデル化することで、多様な神経モルフィックハードウェアおよびソフトウェアプラットフォーム間の相互運用性を可能にする統一的で連続時間の計算抽象化、Neuromorphic Intermediate Representation (NIR) を導入する。NIR はハードウェアとソフトウェア開発を分離し、7つのシミュレータおよび4つのハードウェアプラットフォームで一貫した動作忠実度を維持しながら、再現可能でポータブルな神経モルフィック計算を実現する。

ABSTRACT

Spiking neural networks and neuromorphic hardware platforms that simulate neuronal dynamics are getting wide attention and are being applied to many relevant problems using Machine Learning. Despite a well-established mathematical foundation for neural dynamics, there exists numerous software and hardware solutions and stacks whose variability makes it difficult to reproduce findings. Here, we establish a common reference frame for computations in digital neuromorphic systems, titled Neuromorphic Intermediate Representation (NIR). NIR defines a set of computational and composable model primitives as hybrid systems combining continuous-time dynamics and discrete events. By abstracting away assumptions around discretization and hardware constraints, NIR faithfully captures the computational model, while bridging differences between the evaluated implementation and the underlying mathematical formalism. NIR supports an unprecedented number of neuromorphic systems, which we demonstrate by reproducing three spiking neural network models of different complexity across 7 neuromorphic simulators and 4 digital hardware platforms. NIR decouples the development of neuromorphic hardware and software, enabling interoperability between platforms and improving accessibility to multiple neuromorphic technologies. We believe that NIR is a key next step in brain-inspired hardware-software co-evolution, enabling research towards the implementation of energy efficient computational principles of nervous systems. NIR is available at neuroir.org

研究の動機と目的

• 異種の神経モルフィックハードウェアおよびソフトウェアスタック間の相互運用性の欠如が、再現可能性と段階的進展を妨げているのを是正すること。
• 離散化やハードウェア固有の制約を抽象化する共通の計算的基準枠組みを確立すること。
• 神経モルフィックソフトウェアとハードウェアの進化を分離し、独立した開発と広範なアクセス可能性を可能にすること。
• 理論家が神経モルフィック回路およびダイナミクスについて推論できる安定的で形式的な表現を提供すること。
• 多様な神経モルフィックシステム間で、ポータブルでプラットフォームに依存しないスパikingニューラルネットワークのデプロイを可能にすること。

提案手法

• 理想化された力学方程式に基づく連続時間ハイブリッドシステム表現としてNIRを設計し、数値積分やハードウェア制約から抽象化すること。
• LIFニューロン、シナプス、インテグレータなど、計算プリミティブの集合をグラフベースの中間表現における一次的構成要素として定義すること。
• コンパイラー風の変換を介して、NIRグラフとさまざまな神経モルフィックシミュレータおよびハードウェアプラットフォームとの間で双方向マッピングを可能にすること。
• 形式的で数学的に根拠のある仕様を用いて、理想化されたダイナミクスと実際の実装との間の正確な差を保持すること。
• 高レベルモデルからNIRへ、その後ターゲットバックエンドへと変換するコンパイラースタックを実装し、動作忠実度を保証すること。
• 3つのベンチマークモデル（MNIST分類器、タクトイル認識用SRNN）の再現を通じて、アプローチの妥当性を検証すること。

Figure 1 : High-level overview of what NIR is. (a) NIR allows for continuous-time representation of nodes that can then be executed on continuous-time hardware or simulators, or discretized for use on discrete-time hardware or simulators. (b) A taxonomy of discrete and continuous time hardware and s

実験結果

リサーチクエスチョン

• RQ1 統一された中間表現は、多様な神経モルフィックシミュレータおよびハードウェアプラットフォーム間の意味的・アーキテクチャ的ギャップを埋めることができるか？
• RQ2 連続時間でハイブリッド力学系としての表現は、異種実装間でスパキングニューラルネットワークの本質的計算的挙動をどのように維持できるか？
• RQ3 NIRは神経モルフィックソフトウェアとハードウェア開発をどれほど分離しつつ、動作忠実度を維持できるか？
• RQ4 NIRは離散時間および連続時間の両方の神経モルフィックシステム間で、一貫したモデル実行と再現可能性を実現できるか？
• RQ5 NIRは、ONNX や MLIR といった既存の中間表現と比較して、連続時間神経モルフィックダイナミクスをどのようにモデル化できるか？

主な発見

• NIRは、7つのシミュレータおよび4つのハードウェアプラットフォームで、MNIST分類およびスパキング再帰的ネットワークを含む3つの異なる神経モルフィックモデルを、一貫した挙動で再現することに成功した。
• 理想化された数学的形式的表現と実際の実行との間で、完全な動作忠実度を達成した。その乖離は明示的に露呈され、定量的に評価された。
• サーロゲート勾配と正則化（ℓ¹およびℓ²スパイクペナルティ）を用いることで、最適なハイパーパramータが得られた：μₗ₁=6×10⁻⁴、μₗ₂=4×10⁻⁶（ゼロ、バイアスあり）およびμₗ₁=1×10⁻³、μₗ₂=1×10⁻⁶（減算型、バイアスなし）、高い検証精度が得られた。
• Adam最適化子（lr=0.005 または 0.001）を用いて500エポック分トレーニングした結果、安定した収束が得られ、検証精度に基づいて最良のモデルが選択された。
• NIRコンパイラースタックは、離散時間および連続時間の両方のバックエンドへモデルを正常にマッピングでき、広範な互換性を示した。
• オープンソースのNIRライブラリおよびコードベースは、https://github.com/neuromorphs/nir で公開されており、コミュニティによる採用と拡張を可能としている。

Figure 2 : a-d) shows four NIR primitives, where the name of the primitive is highlighted on top, the implemented computation is illustrated in the white box, and the parameters that are stored with the NIR graph are highlighted on the bottom. a) shows a stateful primitive, while b) and c) show stat