[论文解读] Activation Learning by Local Competitions

Hongchao Zhou|arXiv (Cornell University)|Sep 26, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出激活学习（activation learning），一种基于神经元层级竞争的生物可实现、局部学习规则，可在无需反向传播的情况下实现深度网络的无监督预训练。该方法在MNIST和CIFAR-10数据集上的性能与反向传播相当，数据量有限时表现更优，并能统一用于分类、生成和异常检测任务，且对对抗性攻击具有更强的鲁棒性。

ABSTRACT

Despite its great success, backpropagation has certain limitations that necessitate the investigation of new learning methods. In this study, we present a biologically plausible local learning rule that improves upon Hebb's well-known proposal and discovers unsupervised features by local competitions among neurons. This simple learning rule enables the creation of a forward learning paradigm called activation learning, in which the output activation (sum of the squared output) of the neural network estimates the likelihood of the input patterns, or "learn more, activate more" in simpler terms. For classification on a few small classical datasets, activation learning performs comparably to backpropagation using a fully connected network, and outperforms backpropagation when there are fewer training samples or unpredictable disturbances. Additionally, the same trained network can be used for a variety of tasks, including image generation and completion. Activation learning also achieves state-of-the-art performance on several real-world datasets for anomaly detection. This new learning paradigm, which has the potential to unify supervised, unsupervised, and semi-supervised learning and is reasonably more resistant to adversarial attacks, deserves in-depth investigation.

研究动机与目标

• 开发一种生物可实现、局部的学习规则，避免使用反向传播所需的全局误差信号。
• 在单一前向学习范式下统一监督学习、无监督学习和半监督学习。
• 提升模型在对抗性攻击下的鲁棒性以及在低数据量场景下的性能。
• 实现通用、任务无关的特征学习，使同一网络支持多种下游任务。

提出的方法

• 一种局部竞争学习规则根据神经元激活差异更新权重：Δw_ij = η y_j (x_i - Σ_k y_k w_ik)，其中 y_j 为加权输入和，求和项实现局部竞争。
• 该规则促进特征分解为非正交主成分，支持输入重建并提升鲁棒性。
• 一种保持幅值的激活函数确保输出激活反映输入似然性，实现“学得越多，激活越高”的行为。
• 同一网络可用于分类（最大化输出激活）和生成（注入随机性），体现任务多样性。
• 该方法支持在无标签数据上进行预训练，随后通过反向传播微调，以提升在小规模有标签数据集上的性能。
• 通过反馈准确率信息调节全局学习率，并提供负样本用于遗忘，从而提升分类性能。

实验结果

研究问题

• RQ1 纯粹局部、生物可实现的学习规则是否能在深度网络中实现与反向传播相当的性能？
• RQ2 此类规则能否实现监督学习、无监督学习和半监督学习的统一框架？
• RQ3 缺乏反向传播是否能提升对对抗性攻击和数据稀缺的鲁棒性？
• RQ4 同一训练网络是否能执行分类、图像生成和图像补全等多样化任务？
• RQ5 基于局部竞争的无监督特征在微调后，是否能提升小规模有标签数据集上的性能？

主要发现

• 在仅使用600个有标签样本的MNIST数据集中，激活学习的测试错误率为9.74%，优于反向传播方法。
• 在60,000个有标签图像的完整MNIST和CIFAR-10数据集中，激活学习在未使用数据增强或正则化的情况下，性能与反向传播相当。
• 利用竞争规则生成的第一层无监督特征，将MNIST测试错误率从原始输入的7.23%降低至2.56%，作为分类器输入。
• 基于局部竞争的预训练模型提升了泛化能力，尤其在有标签数据稀缺时表现更优——在600个有标签图像下优于端到端反向传播。
• 微调预训练模型在所有设置下均取得最佳性能，证实了无监督特征在下游任务中的有效性。
• 该方法在真实世界异常检测数据集上达到最先进性能，证明其鲁棒性与泛化能力。