[论文解读] Memory via Temporal Delays in weightless Spiking Neural Network

Hananel Hazan, Simon Caby+3 more|arXiv (Cornell University)|Feb 15, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出一种无权重脉冲神经网络，其中记忆通过突触传递延迟而非连接权重进行编码。利用赫布型脉冲时间依赖可塑性（STDP）动态调节延迟，该网络能够学习分类时间模式，证明仅通过延迟调制即可实现有效的记忆存储与分类，而无需传统突触权重。

ABSTRACT

A common view in the neuroscience community is that memory is encoded in the connection strength between neurons. This perception led artificial neural network models to focus on connection weights as the key variables to modulate learning. In this paper, we present a prototype for weightless spiking neural networks that can perform a simple classification task. The memory in this network is stored in the timing between neurons, rather than the strength of the connection, and is trained using a Hebbian Spike Timing Dependent Plasticity (STDP), which modulates the delays of the connection.

研究动机与目标

• 探究突触传递延迟是否可作为脉冲神经网络中记忆编码的可行机制。
• 开发一种无权重SNN架构，其中学习由延迟调制而非权重调节驱动。
• 证明赫布型STDP可有效训练基于延迟的记忆以完成分类任务。
• 为人工神经网络中的传统权重学习提供一种具有生物学合理性的替代方案。

提出的方法

• 网络采用延迟调制的脉冲神经架构，其中突触延迟是主要的记忆存储机制。
• 应用脉冲时间依赖可塑性（STDP）根据突触前与突触后脉冲的时间关系调节延迟。
• 学习规则通过更新延迟来增强或减弱神经元之间的时序相关性。
• 在简单的时间分类任务上训练网络，以评估记忆保持力与分类准确率。
• 未使用突触权重；仅依赖延迟与脉冲时间决定网络动力学。
• 通过分类性能评估模型在时间输入模式上的表现，结果以准确率与收敛性指标报告。

实验结果

研究问题

• RQ1 突触延迟是否可作为脉冲神经网络中记忆存储的可行机制？
• RQ2 基于STDP的延迟可塑性是否可在无突触权重的情况下实现有效学习与分类？
• RQ3 在性能与生物学合理性方面，延迟调制与基于权重的学习相比如何？
• RQ4 在最小化SNN架构中，基于延迟编码的记忆具有怎样的容量与稳定性？
• RQ5 该框架是否可在无权重设置下支持鲁棒的时间模式识别？

主要发现

• 网络仅通过延迟调制即可成功分类时间输入模式，证明记忆可在无突触权重的情况下实现编码。
• 基于STDP的延迟可塑性使网络能够随时间学习并保持时序相关性。
• 该模型在简单时间任务上实现了分类准确率，验证了基于延迟记忆的可行性。
• 由于未使用突触权重，架构得到简化，同时保持了功能性学习能力。
• 结果支持假设：延迟动力学可作为神经系统中记忆的主要基础。
• 该方法为基于权重的学习提供了一种具有生物学合理性的替代方案，与生物电路中观察到的神经动力学一致。