[論文レビュー] Implementing Spiking Neural Networks on Neuromorphic Architectures: A Review

Phu Khanh Huynh, M. Lakshmi Varshika+4 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Memory and Neural Computing被引用数 23

ひとこと要約

ニューロモルフィックハードウェア上でスパイキングニューラルネットワークを実装するためのソフトウェアフレームワークと設計手法の総合的な調査であり、プラットフォームベースの設計、ハードウェアとソフトウェアの共同設計、マッピング/コンパイルツールを網羅している。

ABSTRACT

Recently, both industry and academia have proposed several different neuromorphic systems to execute machine learning applications that are designed using Spiking Neural Networks (SNNs). With the growing complexity on design and technology fronts, programming such systems to admit and execute a machine learning application is becoming increasingly challenging. Additionally, neuromorphic systems are required to guarantee real-time performance, consume lower energy, and provide tolerance to logic and memory failures. Consequently, there is a clear need for system software frameworks that can implement machine learning applications on current and emerging neuromorphic systems, and simultaneously address performance, energy, and reliability. Here, we provide a comprehensive overview of such frameworks proposed for both, platform-based design and hardware-software co-design. We highlight challenges and opportunities that the future holds in the area of system software technology for neuromorphic computing.

研究の動機と目的

• ニューロモルフィックハードウェア上でリアルタイムかつ省エネ性能を実現するSNNの実行のために、システムソフトウェアフレームワークの必要性を動機づける。
• ニューロモルフィック計算のためのプラットフォームベースの設計とハードウェア–ソフトウェア共設計アプローチの総合的な概要を提供する。
• 多様なニューロモルフィックプラットフォーム上でSNNをマッピング、シミュレーション、デプロイする際に用いられる主要なソフトウェア抽象化、パイプライン、最適化手法を強調する。

提案手法

• ニューロモルフィック計算におけるシステムソフトウェア手法の調査と分類。
• プラットフォーム抽象化の議論：アプリケーションソフトウェア、システムソフトウェア、ハードウェア。
• 複数のハードウェアプラットフォーム（Loihi、SpiNNaker、TrueNorth、BrainScaleS、DYNAPs など）に跨るコンパイル、マッピング、ランタイム戦略。
• SNNをコアの制約に適合させるために用いられるグラフベースの分割、クラスタリング、配置手法の説明。
• 高レベルのフレームワークと言語（PyNN、Nengo、NEF）およびハードウェアマッピング（LCompiler、PACMAN、SpiNeMap、Corelet、TENNLab）の分析。

実験結果

リサーチクエスチョン

• RQ1 現在および新興のニューロモルフィックハードウェア上でSNNを効率的かつ信頼性高く展開するために、どのようなシステムソフトウェア技術が有効か？
• RQ2 プラットフォームベースの設計とハードウェア–ソフトウェア共設計アプローチは、ニューロモルフィック計算のパフォーマンス、エネルギー、信頼性の制約にどのように対処するか？
• RQ3 SNNをニューロモルフィックコアとインターコネクトに適合させるための一般的なマッピング、分割、コンパイル戦略は何か？
• RQ4 多様なニューロモルフィックプラットフォームでSNNをプログラミング、シミュレート、デプロイするためのフレームワークは何があり、それらの制限と機会は何か？

主な発見

• 本論文は、SNNをさまざまなニューロモルフィックアーキテクチャ上で展開できるソフトウェアフレームワークと手法を網羅している（例：SentryOS、corelet、LCompiler、PACMAN、PyNN、Nengo、NEF）。
• プラットフォームベースの設計とハードウェア–ソフトウェア共設計は、ニューロモルフィックシステムの複雑性とヘテロジニアリティを管理するための不可欠な戦略として特定されている。
• 多数のマッピング、クラスタリング、分割、スケジューリング手法（例：PSOベース分割、Kernighan-Linに触発されたクラスタリング、Hill-Climbingランタイムマッピング、SAベースのタスク配置）を用いてコア間通信とエネルギーを最適化している。
• 本レビューは、高レベルニューラルモデルからハードウェア依存表現までの抽象化レイヤを取り扱い、ソフトウェア設計時にハードウェア制約（ファンイン/ファンアウト、クロスバーの限界、インターコネクト）を考慮する必要性を強調している。
• 本論文は、高レベルのデータフロー表現とNEFベースのフレームワークの役割を強調し、シミュレータとハードウェア間の移植性と効率的なデプロイを可能にしている。