[论文解读] DYNAP-SE2: a scalable multi-core dynamic neuromorphic asynchronous spiking neural network processor

Ole Richter, Chenxi Wu+5 more|arXiv (Cornell University)|Oct 1, 2023

Advanced Memory and Neural Computing参考文献 56被引用 6

一句话总结

DYNAP-SE2 是一种可扩展的多核脉冲神经形态处理器，通过模拟电路实现生物上合理的神经动力学（如突触长时程可塑性、NMDA 门控和放电频率适应性），同时利用异步数字路由结构实现低延迟、事件驱动的通信。该芯片支持在边缘端进行实时、低功耗的感官数据处理，并可运行复杂的循环脉冲神经网络。

ABSTRACT

With the remarkable progress that technology has made, the need for processing data near the sensors at the edge has increased dramatically. The electronic systems used in these applications must process data continuously, in real-time, and extract relevant information using the smallest possible energy budgets. A promising approach for implementing always-on processing of sensory signals that supports on-demand, sparse, and edge-computing is to take inspiration from biological nervous system. Following this approach, we present a brain-inspired platform for prototyping real-time event-based Spiking Neural Networks (SNNs). The system proposed supports the direct emulation of dynamic and realistic neural processing phenomena such as short-term plasticity, NMDA gating, AMPA diffusion, homeostasis, spike frequency adaptation, conductance-based dendritic compartments and spike transmission delays. The analog circuits that implement such primitives are paired with a low latency asynchronous digital circuits for routing and mapping events. This asynchronous infrastructure enables the definition of different network architectures, and provides direct event-based interfaces to convert and encode data from event-based and continuous-signal sensors. Here we describe the overall system architecture, we characterize the mixed signal analog-digital circuits that emulate neural dynamics, demonstrate their features with experimental measurements, and present a low- and high-level software ecosystem that can be used for configuring the system. The flexibility to emulate different biologically plausible neural networks, and the chip's ability to monitor both population and single neuron signals in real-time, allow to develop and validate complex models of neural processing for both basic research and edge-computing applications.

研究动机与目标

• 开发一种可扩展、低功耗的神经形态处理器，能够在边缘端实现对感官信号的实时、持续处理。
• 通过模拟电路实现方式，支持生物上合理的神经动力学，如短期可塑性、NMDA 门控和稳态调节。
• 通过集成异步数字路由结构和片上模拟前端，实现高效、稀疏的事件驱动计算。
• 为神经科学研究和边缘人工智能应用提供灵活的软件栈与硬件平台，用于原型设计复杂的脉冲神经网络。

提出的方法

• 该芯片采用亚阈值 CMOS 电路在 2×2 核心中实现 1024 个模拟积分发放神经元，每个核心包含 64 个突触和四个树突分支，以模拟神经动力学。
• 通过混合信号模拟电路在物理时间域内实现神经动力学，如 AMPA 扩散、基于电导的树突 compartment 和放电传输延迟。
• 采用异步、分层的数字路由网络，实现神经元与传感器之间低延迟、无时钟的事件传输，支持实时运行。
• 系统集成了片上模拟前端（AFE），包含低噪声放大器、带通滤波器和异步 Δ-调制器，可将连续信号转换为地址-事件表示。
• 二维事件预处理器支持与动态视觉传感器（DVS）的直接接口，实现事件流的空间与时间映射。
• 完整的软件栈包括低层配置工具和高层 API，用于在芯片上定义和部署脉冲神经网络。

实验结果

研究问题

• RQ1 如何在实时条件下高效模拟广泛的生物上合理的神经动力学？
• RQ2 为实现面向边缘人工智能的低功耗、可扩展、异步事件驱动处理，需要哪些架构与电路级创新？
• RQ3 如何将模拟神经形态电路与数字异步路由集成，以支持大规模、低延迟的脉冲神经网络？
• RQ4 该芯片在支持具有多时间尺度动力学的复杂循环脉冲神经网络方面，其能力在多大程度上可满足连续感官信号处理的需求？
• RQ5 片上 AFE 与事件预处理的集成，是否能够实现与 DVS 等事件传感器的直接、低延迟接口？

主要发现

• DYNAP-SE2 芯片成功实现了 1024 个模拟神经元，每个神经元包含 64 个突触，支持包括短期可塑性、NMDA 门控和放电频率适应性在内的复杂动力学。
• 实验测量结果证实，模拟电路能够准确模拟生物上合理的神经动力学，包括基于电导的树突整合以及时间常数高达 100,000 秒的突触权重时间缩放。
• 异步数字路由结构实现了低延迟事件传输，抖动极小，支持网络中所有神经元的实时脉冲事件处理。
• 片上 AFE 和事件预处理器可实现连续信号与 DVS 事件向地址-事件流的直接、低功耗转换，显著减少数据移动与功耗。
• 该芯片支持对单个神经元与群体活动的实时监控，有助于复杂神经模型的验证。
• 系统在原型设计大规模脉冲神经网络方面展现出良好的可扩展性与可配置性，实验结果验证了神经动力学理论模型的准确性。