[论文解读] Hebbian learning with gradients: Hebbian convolutional neural networks with modern deep learning frameworks

Thomas Miconi|arXiv (Cornell University)|Jul 4, 2021

Neural Networks and Applications被引用 9

一句话总结

该论文表明，通过使用梯度能精确产生所需权重更新的代理损失函数，现代深度学习框架可以实现Hebbian学习规则（如普通Hebbian、Grossberg的instar和Oja规则）。通过利用这些损失函数，作者训练了深层卷积Hebbian网络，借助稀疏可塑性和剪枝等干预手段显著提升了性能，逆转了传统上在深层中解码性能下降的趋势。

ABSTRACT

Deep learning networks generally use non-biological learning methods. By contrast, networks based on more biologically plausible learning, such as Hebbian learning, show comparatively poor performance and difficulties of implementation. Here we show that Hebbian learning in hierarchical, convolutional neural networks can be implemented almost trivially with modern deep learning frameworks, by using specific losses whose gradients produce exactly the desired Hebbian updates. We provide expressions whose gradients exactly implement a plain Hebbian rule (dw ~= xy), Grossberg's instar rule (dw ~= y(x-w)), and Oja's rule (dw ~= y(x-yw)). As an application, we build Hebbian convolutional multi-layer networks for object recognition. We observe that higher layers of such networks tend to learn large, simple features (Gabor-like filters and blobs), explaining the previously reported decrease in decoding performance over successive layers. To combat this tendency, we introduce interventions (denser activations with sparse plasticity, pruning of connections between layers) which result in sparser learned features, massively increase performance, and allow information to increase over successive layers. We hypothesize that more advanced techniques (dynamic stimuli, trace learning, feedback connections, etc.), together with the massive computational boost offered by modern deep learning frameworks, could greatly improve the performance and biological relevance of multi-layer Hebbian networks.

研究动机与目标

• 在现代深度学习框架中，实现深层卷积神经网络中生物上合理的Hebbian学习。
• 解决Hebbian网络高层中性能下降的长期问题，即尽管滤波器数量增加，但解码性能反而下降。
• 证明通过使用能精确产生Hebbian权重更新的代理损失函数，可实现Hebbian学习，且工程开销极小。
• 探索如密集激活结合稀疏可塑性以及层间剪枝等架构干预手段，如何恢复并增强分层Hebbian网络中的信息流。
• 通过结合生物启发式学习规则与现代深度学习框架的计算能力，为无监督和自监督学习开辟新途径。

提出的方法

• 使用代理损失函数，其梯度能精确实现标准Hebbian规则：普通Hebbian（$\Delta w \propto xy$）、instar（$\Delta w \propto y(x-w)$）和Oja规则（$\Delta w \propto y(x - yw)$）。
• 将网络输出$y$定义为输入$x$、权重$w$的函数，对于Oja规则，还包含真实输出$\hat{y}$，以确保梯度与所需更新等价。
• 应用k-WTA（第k大值阈值化）操作对激活值进行二值化，模拟稀疏可塑性，从而有效应用局部学习规则。
• 在PyTorch中使用标准反向传播机制计算代理损失的梯度，直接生成Hebbian权重更新，无需自定义autograd扩展。
• 引入两种关键干预措施：(1) 使用“三角形”方法计算激活值以促进稀疏性，(2) 对层间连接进行剪枝，以防止对简单特征的过拟合。
• 在CIFAR-10上使用标准卷积层进行训练，并在各层评估性能，比较无约束与干预辅助网络的解码准确率。

实验结果

研究问题

• RQ1 是否可以不依赖自定义autograd机制，仅使用标准深度学习框架，在深层卷积网络中实现生物上合理的Hebbian学习规则？
• RQ2 为何Hebbian网络的高层通常仅学习到如Gabor滤波器和斑块等简单特征，导致解码性能下降？
• RQ3 如稀疏可塑性和剪枝等架构干预手段，是否能恢复并提升Hebbian网络高层的信息流与性能？
• RQ4 代理损失函数在多大程度上可被用于模块化、可重用的方式，在现代深度学习框架中实现多种局部学习规则？
• RQ5 结合现代计算资源与生物启发式学习规则，是否能实现更准确且更具生物学相关性的分层表征，用于无监督学习？

主要发现

• 通过在现代深度学习框架中使用简单的代理损失函数，可实现梯度精确等价的Hebbian学习规则，包括普通Hebbian、instar和Oja规则。
• 在无约束的Hebbian网络中，高层持续学习到大而简单的特征，如Gabor类边缘检测器和斑块，这与各层间解码性能下降密切相关。
• 引入密集激活结合稀疏可塑性（通过k-WTA实现）以及层间连接剪枝后，高层性能显著提升，逆转了典型的性能下降趋势。
• 这些干预措施使学习到的特征更稀疏、更具信息量，使高层在解码性能上甚至超过低层，与基线行为相反。
• 作者证明，现代深度学习框架可实现复杂Hebbian网络的快速原型设计，且实现开销极小，为探索生物启发式学习规则提供了强大支持。
• 该方法在保持标准训练流程的同时实现了生物上合理的学习，为无监督和自监督表征学习开辟了极具前景的新路径。