[论文解读] Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits

Alexander G. Ororbia|arXiv (Cornell University)|Mar 30, 2023

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出对比信号依赖可塑性（CSDP），这是一种仅向前传播的脉冲神经网络学习规则，通过利用由自下而上、自上而下和侧向信号驱动的局部、分层膜电位动态，实现在无反馈路径情况下的信用分配。CSDP通过基于事件的自监督学习，在递归脉冲网络中实现了图像数据的有效分类与重构，展示了其在神经形态硬件上实现能效高效、类脑计算的可行性。

ABSTRACT

Brain-inspired machine intelligence research seeks to develop computational models that emulate the information processing and adaptability that distinguishes biological systems of neurons. This has led to the development of spiking neural networks, a class of models that promisingly addresses the biological implausibility and {the lack of energy efficiency} inherent to modern-day deep neural networks. In this work, we address the challenge of designing neurobiologically-motivated schemes for adjusting the synapses of spiking networks and propose contrastive-signal-dependent plasticity, a process which generalizes ideas behind self-supervised learning to facilitate local adaptation in architectures of event-based neuronal layers that operate in parallel. Our experimental simulations demonstrate a consistent advantage over other biologically-plausible approaches when training recurrent spiking networks, crucially side-stepping the need for extra structure such as feedback synapses.

研究动机与目标

• 开发一种神经形态的脉冲神经网络架构，实现在无反馈路径情况下的信用分配，符合有限计算原则。
• 通过引入仅向前时间演化的对比信号依赖可塑性规则，将前向-前向学习推广至脉冲系统。
• 仅利用局部前突触和后突触活动，实现在递归SNN中的稳定在线突触适应，支持分类与重构任务。
• 证明在神经形态平台上的自监督、基于事件的学习在脉冲电路中的可行性，实现面向边缘AI的能效高效人工智能。
• 通过整合侧向抑制和动态膜电位计算，提供一种替代反向传播和预测编码的生物可解释方案。

提出的方法

• CSDP将每个神经元的膜电位计算为局部自下而上、自上而下和侧向突触输入的函数，支持动态、分层并行计算。
• 突触可塑性规则基于对刺激响应的正向与负向激活模式之间的对比调整权重，无需误差反向传播。
• 模型在刺激窗口内采用基于事件的处理，将脉冲视为离散事件，驱动局部学习。
• 引入侧向抑制以支持层内竞争性动态，增强表征区分能力。
• 学习规则基于仅向前传播原理推导，避免对独立反馈路径或误差信号传输的需求。
• 递归架构支持输入模式的时间整合，实现分类与重构双重任务。

实验结果

研究问题

• RQ1 脉冲神经网络是否能在无反馈路径或反向传播的情况下实现稳定、自监督学习？
• RQ2 对比学习原理如何适配于递归SNN中的基于事件、脉冲序列处理？
• RQ3 局部、仅向前传播的突触可塑性是否能同时支持对感官输入的精确分类与重构？
• RQ4 自上而下与侧向信号如何在无反馈的脉冲网络中促进动态、分层计算？
• RQ5 CSDP学习是否能在神经形态硬件上高效实现，同时保持生物可解释性？

主要发现

• CSDP仅通过前向传播和局部信号，即在递归脉冲神经网络中实现了图像数据的有效分类。
• 该模型随时间成功重构了输入图像，证明其具备学习分布式表征的能力。
• 无反馈路径或误差反向传播并不影响性能，支持SNN中仅向前传播学习的可行性。
• 引入侧向抑制可增强表征学习，与皮层计算中的已知机制一致。
• 该方法与神经形态硬件兼容，为边缘AI的低能耗、片上学习提供了实现路径。
• CSDP提供了一种替代反向传播与预测编码的生物可解释方案，具有构建可扩展、能效高效人工智能系统的潜力。