[论文解读] Implementing Spiking Neural Networks on Neuromorphic Architectures: A Review

Phu Khanh Huynh, M. Lakshmi Varshika+4 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Memory and Neural Computing被引用 23

一句话总结

对在神经形态硬件上实现脉冲神经网络的综合综述，覆盖平台基于的设计、硬件-软件协同设计，以及映射/编译工具。

ABSTRACT

Recently, both industry and academia have proposed several different neuromorphic systems to execute machine learning applications that are designed using Spiking Neural Networks (SNNs). With the growing complexity on design and technology fronts, programming such systems to admit and execute a machine learning application is becoming increasingly challenging. Additionally, neuromorphic systems are required to guarantee real-time performance, consume lower energy, and provide tolerance to logic and memory failures. Consequently, there is a clear need for system software frameworks that can implement machine learning applications on current and emerging neuromorphic systems, and simultaneously address performance, energy, and reliability. Here, we provide a comprehensive overview of such frameworks proposed for both, platform-based design and hardware-software co-design. We highlight challenges and opportunities that the future holds in the area of system software technology for neuromorphic computing.

研究动机与目标

• 驱动在具有实时、能效性能的神经形态硬件上运行 SNN 的系统软件框架的需求。
• 提供神经形态计算中基于平台的设计和硬件-软件协同设计方法的综合概述。
• 强调用于将 SNN 映射、仿真和部署到多样化神经形态平台的软件抽象、流程和优化技术。

提出的方法

• 对神经形态计算的系统软件方法进行调查与分类。
• 讨论平台抽象：应用软件、系统软件和硬件。
• 在多种硬件平台（Loihi、SpiNNaker、TrueNorth、BrainScaleS、DYNAPs 等）上的编译、映射与运行时策略。
• 描述用于将 SNN 适配核心约束的基于图的划分、聚类与放置方法。
• 分析较高级框架和语言（PyNN、Nengo、NEF）以及硬件映射（LCompiler、PACMAN、SpiNeMap、Corelet、TENNLab）。

实验结果

研究问题

• RQ1 哪些系统软件技术能够在当前及新兴的神经形态硬件上实现高效、可靠的 SNN 部署？
• RQ2 基于平台的设计和硬件-软件协同设计如何在神经形态计算中应对性能、能耗和可靠性约束？
• RQ3 用于将 SNN 适配到神经形态核心和互连的常见映射、划分和编译策略有哪些？
• RQ4 现存的用于在多样化神经形态平台上编程、仿真和部署 SNN 的框架有哪些，它们的局限性与机会是什么？

主要发现

• 本文编目了大量的软件框架和方法论（如 SentryOS、corelet、LCompiler、PACMAN、PyNN、Nengo、NEF），用于在各种神经形态架构上部署 SNN。
• 基于平台的设计和硬件-软件协同设计被确定为管理神经形态系统的复杂性和异质性的关键策略。
• 许多映射、聚类、划分和调度技术（如基于 PSO 的划分、受 Kernighan-Lin 启发的聚类、基于 Hill-Climbing 的运行时映射、基于 SA 的任务放置）被用于优化跨核心的通信与能耗。
• 回顾讨论了从高级神经模型到硬件相关表示的抽象层，并强调在软件设计中需要考虑硬件约束（输入/输出数量、交叉开关限制、互连等）。
• 本文强调高级数据流表示和基于 NEF 的框架在实现跨仿真器和硬件的可移植性及高效部署方面的作用。