[论文解读] Local plasticity rules can learn deep representations using self-supervised contrastive predictions

Bernd Illing, Jean Ventura+2 more|arXiv (Cornell University)|Oct 16, 2020

Neural dynamics and brain function被引用 26

一句话总结

本文提出CLAPP（对比性、局部性与预测性可塑性），一种生物上合理的学习规则，使深度神经网络能够在无需反向传播的情况下学习分层表征。通过利用类扫视的眼动转移进行自监督对比预测，以及由全局意外信号调制的局部赫布可塑性更新，CLAPP在STL-10上实现了77.6%的准确率，达到当前最先进水平，同时保持了与神经科学原理一致的局部、无监督学习规则。

ABSTRACT

Learning in the brain is poorly understood and learning rules that respect biological constraints, yet yield deep hierarchical representations, are still unknown. Here, we propose a learning rule that takes inspiration from neuroscience and recent advances in self-supervised deep learning. Learning minimizes a simple layer-specific loss function and does not need to back-propagate error signals within or between layers. Instead, weight updates follow a local, Hebbian, learning rule that only depends on pre- and post-synaptic neuronal activity, predictive dendritic input and widely broadcasted modulation factors which are identical for large groups of neurons. The learning rule applies contrastive predictive learning to a causal, biological setting using saccades (i.e. rapid shifts in gaze direction). We find that networks trained with this self-supervised and local rule build deep hierarchical representations of images, speech and video.

研究动机与目标

• 弥合生物上合理的局部可塑性规则与大脑中观察到的深度分层表征之间的差距。
• 开发一种避免反向传播但依然能在深度网络中构建有用分层特征的学习规则。
• 将自然输入中的时间结构——特别是类扫视的眼动转移——整合进局部学习机制中。
• 证明纯粹的局部、无监督规则可实现与基于反向传播的模型相当的性能。

提出的方法

• 模型使用基于预扫视和后扫视输入之间对比预测的层特定损失函数。
• 权重更新遵循仅依赖于突触前与突触后活动、预测性树突输入以及全局广播调制信号的局部赫布规则。
• 调制信号源自扫视检测，建模为全局‘意外’或预测误差信号。
• 学习规则不依赖反向传播，而是基于比较当前状态与未来状态的预测性对比目标实现。
• 最大池化层被建模为侧向抑制，保持梯度兼容性而无需近似。
• 该方法在图像（STL-10）、语音和视频数据上进行了测试，性能通过线性探测进行评估。

实验结果

研究问题

• RQ1 纯粹的局部、无监督学习规则是否能在无需反向传播的情况下构建深度分层表征？
• RQ2 使用类扫视事件的自监督对比预测是否能在生物上合理的框架中实现有效的表征学习？
• RQ3 源自扫视检测的全局调制信号是否能提升局部可塑性规则的学习效果？
• RQ4 此类规则是否能在标准基准上实现与基于反向传播的模型相当的性能？
• RQ5 由此产生的表征层次结构在各层之间是否具有意义且可解释？

主要发现

• CLAPP在STL-10上使用双模块架构实现了77.6%的线性分类准确率，接近端到端反向传播的80.3%准确率。
• 随着网络深度增加，性能提升：单模块（逐层训练）为74.0%，双模块为77.6%，端到端训练为80.3%。
• CLAPP训练网络的高层逐渐提取更复杂的特征，如物体部件，而低层则检测边缘和条纹等简单模式。
• 随机编码器基线未表现出分层特征进展，证实仅靠架构本身无法产生深度表征。
• 即使上下文表征取自预测层之上的层，模型依然有效，准确率达到72.4%。
• 优选的补丁可视化和t-SNE嵌入表明，CLAPP训练的特征形成了有意义且可解释的层次结构，而随机权重则不具备此特性。