[论文解读] Learning Sparse, Distributed Representations using the Hebbian Principle

Aseem Wadhwa, Upamanyu Madhow|arXiv (Cornell University)|Nov 14, 2016

Domain Adaptation and Few-Shot Learning参考文献 33被引用 3

一句话总结

本文提出自适应赫布学习（AHL），一种神经可塑的无监督算法，通过突触与神经元层面的竞争赫布规则，学习稀疏、分布式表征，无需优化代价函数。AHL 在 MNIST、NORB 和 CIFAR-10 上的分类性能优于或相当于自编码器，且收敛速度显著更快，超参数调优极少。

ABSTRACT

The "fire together, wire together" Hebbian model is a central principle for learning in neuroscience, but surprisingly, it has found limited applicability in modern machine learning. In this paper, we take a first step towards bridging this gap, by developing flavors of competitive Hebbian learning which produce sparse, distributed neural codes using online adaptation with minimal tuning. We propose an unsupervised algorithm, termed Adaptive Hebbian Learning (AHL). We illustrate the distributed nature of the learned representations via output entropy computations for synthetic data, and demonstrate superior performance, compared to standard alternatives such as autoencoders, in training a deep convolutional net on standard image datasets.

研究动机与目标

• 通过开发一种可扩展、生物学上合理的无监督学习算法，弥合神经科学启发的赫布学习与实际机器学习之间的差距。
• 直接强制实现神经编码的理想特性——稀疏性、分布式特性与去相关性，而无需依赖显式的代价函数。
• 证明当赫布原则与竞争机制结合时，可在标准图像分类基准上实现具有竞争力的性能。
• 为深度神经网络中的无监督预训练提供一种快速、低调优的自编码器替代方案。

提出的方法

• AHL 采用基于赫布原理的在线权重更新：'一起放电，一起连接'，通过协同激活的突触前与突触后神经元加强连接。
• 突触后神经元之间的竞争强制实现稀疏性与去相关性，降低输出神经元之间的相关性。
• 突触前输入之间的竞争进一步通过限制每个输出神经元的活跃输入数量，增强分布式编码。
• 该算法采用胜者为王机制与自适应阈值，根据活动动态招募与修剪神经元。
• AHL 在深度卷积网络中逐层应用，各层以自底向上的方式独立训练。
• 通过在 AHL 提取的特征上使用线性 SVM 评估分类性能，避免端到端反向传播。

实验结果

研究问题

• RQ1 竞争性赫布学习能否生成与现代自编码器基无监督特征学习性能相当或更优的稀疏、分布式表征？
• RQ2 一种无显式代价函数优化的神经可塑学习规则，能否生成对下游分类任务有效的特征？
• RQ3 引入突触竞争如何影响所学表征的去相关性与熵？
• RQ4 AHL 是否能在极少超参数调优下，实现比自编码器更快的收敛速度与更优性能？

主要发现

• 在 MNIST、NORB 和 CIFAR-10 上，AHL 在无监督方法中达到最先进性能，结合细粒度池化后，MNIST 错误率为 0.82%，NORB 错误率为 2.52%。
• 在 CIFAR-10 上，AHL 使用标准 CNN 架构实现了 80% 的准确率，与先前使用大特征图的无监督方法性能相当。
• AHL 收敛速度显著快于自编码器：CIFAR 第二层中，AHL 仅需 15 个周期，而稀疏自编码器耗时 74.8 分钟。
• 使用 $K_w = 3$ 突触竞争优于 $K_w = 1$，证实更分布式表征可提升性能。
• 仅使用第三层时分类准确率急剧下降，表明高层网络在判别性特征学习中受益于标签信息。
• 尽管超参数调优极少，AHL 特征性能优于去噪自编码器，且与稀疏自编码器相比相当或更优。