[论文解读] A wake-sleep algorithm for recurrent, spiking neural networks

Johannes Thiele, Peter U. Diehl+1 more|arXiv (Cornell University)|Mar 18, 2017

Advanced Memory and Neural Computing参考文献 10被引用 10

一句话总结

本文提出一种唤醒-睡眠算法，以防止使用脉冲时序依赖可塑性（STDP）训练的循环脉冲神经网络中的权重聚类。通过在唤醒阶段学习与睡眠阶段使用随机输入进行反赫布学习交替进行，该方法抑制了有害的吸引子状态，使学习率最高可提升10倍，同时实现更快收敛和更低的推理误差。

ABSTRACT

We investigate a recently proposed model for cortical computation which performs relational inference. It consists of several interconnected, structurally equivalent populations of leaky integrate-and-fire (LIF) neurons, which are trained in a self-organized fashion with spike-timing dependent plasticity (STDP). Despite its robust learning dynamics, the model is susceptible to a problem typical for recurrent networks which use a correlation based (Hebbian) learning rule: if trained with high learning rates, the recurrent connections can cause strong feedback loops in the network dynamics, which lead to the emergence of attractor states. This causes a strong reduction in the number of representable patterns and a decay in the inference ability of the network. As a solution, we introduce a conceptually very simple "wake-sleep" algorithm: during the wake phase, training is executed normally, while during the sleep phase, the network "dreams" samples from its generative model, which are induced by random input. This process allows us to activate the attractor states in the network, which can then be unlearned effectively by an anti-Hebbian mechanism. The algorithm allows us to increase learning rates up to a factor of ten while avoiding clustering, which allows the network to learn several times faster. Also for low learning rates, where clustering is not an issue, it improves convergence speed and reduces the final inference error.

研究动机与目标

• 解决使用STDP训练循环脉冲神经网络时出现的权重聚类问题，该问题会导致吸引子状态并降低推理性能。
• 克服STDP训练中学习率过低的限制，因为目前只有降低学习率才能避免聚类。
• 开发一种方法，利用网络的内在动力学识别并消除问题权重簇，而无需改变网络架构。
• 通过允许显著更高的学习率，同时保持低推理误差，实现更快训练和更优收敛性。
• 不仅证明该方法可预防聚类，还展示其可有效移除已训练网络中已存在的权重簇。

提出的方法

• 采用双阶段训练方案：唤醒阶段使用标准STDP学习，睡眠阶段使用随机输入刺激。
• 在睡眠阶段，网络生成内部活动模式（“做梦”），激活由聚类权重诱导的现有吸引子状态。
• 通过在睡眠阶段将兴奋性STDP学习率的符号反转，应用反赫布学习规则，以消除导致吸引子形成的权重。
• 利用网络的循环脉冲动力学作为生成模型，通过参与吸引子状态的神经元之间的相关活动识别权重簇。
• 选择性地对参与强反馈回路的权重应用反赫布机制，从而有效瓦解权重簇。
• 使用Brian脉冲神经网络模拟器，在包含LIF神经元和采用三重态规则的STDP的三路关系推理网络上实现该算法。

实验结果

研究问题

• RQ1 唤醒-睡眠算法能否缓解使用STDP训练的循环脉冲神经网络中的权重聚类？
• RQ2 所提出的方法是否允许使用更高的学习率，而不会引发吸引子状态或降低推理性能？
• RQ3 该算法能否移除已表现出权重聚类的网络中的现有簇？
• RQ4 唤醒-睡眠算法是否能在低学习率下提升收敛速度并降低最终推理误差？
• RQ5 该算法的有效性是否依赖于特定网络架构，还是可在各类循环脉冲神经网络中通用？

主要发现

• 唤醒-睡眠算法成功防止了在使用高达以往十倍学习率的情况下，循环脉冲神经网络中权重簇的形成。
• 该方法使原本会导致快速收敛至劣质吸引子状态的高学习率成为可行，从而扩展了可接受的训练范围。
• 对于已表现出聚类的网络，睡眠阶段能有效移除权重簇，使输入和循环矩阵中的理想对角权重结构在数秒睡眠训练内得以恢复。
• 即使在低学习率下（此时聚类并非问题），该算法仍比标准STDP提升收敛速度并降低最终推理误差。
• 在移除权重簇后，网络恢复正确权重矩阵结构的速度快于从随机初始权重开始训练，表明突触权重实现了高效重组。
• 该算法的成功源于利用网络内在的循环动力学作为生成模型，仅需极少超参数调优，表明其在测试架构之外也具有广泛适用性。