[论文解读] Local Information with Feedback Perturbation Suffices for Dictionary Learning in Neural Circuits

Tsung-Han Lin|arXiv (Cornell University)|May 19, 2017

Advanced Memory and Neural Computing参考文献 17被引用 3

一句话总结

该论文提出一种具有反馈突触的脉冲神经网络（SNN），通过将非局部误差信号转换为局部反馈扰动，实现了突触局部、生物上合理的字典学习。该方法利用脉冲发放率动态和反馈引起的态变化，近似梯度下降，在图像数据集上即使采用随机权重初始化，性能也与随机梯度下降（SGD）相当或更优。

ABSTRACT

While the sparse coding principle can successfully model information processing in sensory neural systems, it remains unclear how learning can be accomplished under neural architectural constraints. Feasible learning rules must rely solely on synaptically local information in order to be implemented on spatially distributed neurons. We describe a neural network with spiking neurons that can address the aforementioned fundamental challenge and solve the L1-minimizing dictionary learning problem, representing the first model able to do so. Our major innovation is to introduce feedback synapses to create a pathway to turn the seemingly non-local information into local ones. The resulting network encodes the error signal needed for learning as the change of network steady states caused by feedback, and operates akin to the classical stochastic gradient descent method.

研究动机与目标

• 解决在严格突触局部性约束下，神经回路中如何实现字典学习的根本挑战。
• 开发一种仅依赖每个突触局部可用信息的学习规则，使其适用于空间分布的神经网络。
• 在脉冲神经网络中，仅使用局部动力学和反馈扰动，求解ℓ₁最小化字典学习问题。
• 证明反馈引起的网络稳态变化可作为全局误差信号的局部代理。
• 表明所提方法在性能上可与SGD相媲美，同时实现完全分布式和可并行化。

提出的方法

• 引入反馈突触，通过扰动网络稳态，使状态变化作为全局误差信号的局部近似。
• 使用不平衡函数Δi(t) = ui(t) − θi ai(t)刻画网络动力学，并基于脉冲发放率和电流平均值推导学习规则。
• 通过将反馈引起的态偏移与梯度更新关联，推导出类似随机梯度下降的局部学习规则。
• 采用前向与反馈权重之间的权重一致性条件，确保反馈扰动能反映真实的误差梯度。
• 在包含整合-发放神经元的脉冲网络中应用该学习规则，其中突触权重根据局部前突触和后突触活动以及反馈引起的改变进行更新。
• 采用动态阈值自适应机制，防止神经元失活，提升学习效率和收敛性。

实验结果

研究问题

• RQ1 能否仅使用局部可用的突触信息，在脉冲神经网络中实现字典学习？
• RQ2 字典学习中的非局部误差信号如何转化为局部、可突触访问的信号？
• RQ3 脉冲网络中的反馈连接能否近似ℓ₁正则化目标函数的梯度？
• RQ4 所提方法在目标函数值和收敛速度方面是否优于或等同于标准SGD？
• RQ5 该方法对随机权重初始化和不同规模的训练样本是否具有鲁棒性？

主要发现

• 所提出的SNN结合反馈扰动，在MNIST、自然场景和Lena等多个数据集上，其目标函数值与SGD相当或更优。
• 当训练数据有限时，SNN方法收敛更快且达到更优解，尤其能有效避免陷入不良局部极小值。
• 随机权重初始化仅导致略微更慢的收敛，但最终解的目标函数值与SGD相当或更优。
• 动态阈值自适应机制可防止神经元失活，通过随时间增加激活频率较低的原子的放电概率，提升学习效率。
• 反馈引起的态变化为全局误差梯度提供了有效的局部代理，支持生物上合理的学习机制。
• 该方法实现了完全分布式、细粒度的并行计算，消除了集中式处理单元带来的瓶颈。