[论文解读] Is Bio-Inspired Learning Better than Backprop? Benchmarking Bio Learning vs. Backprop

Manas Gupta, Sarthak Ketanbhai Modi+3 more|arXiv (Cornell University)|Dec 9, 2022

Neural Networks and Applications被引用 4

一句话总结

该论文在多种现实训练约束条件下，对生物启发式学习算法——赫布学习、反馈对齐、直接反馈对齐、预测编码和差异目标传播——与反向传播（BP）进行了基准测试。结果表明，在低数据和低预算设置下，生物算法显著优于BP，其中赫布学习在准确率上最高提升20%，收敛速度提升20倍（仅需5个周期，而BP需约100个周期），同时在噪声和权重稀疏性条件下也表现出强鲁棒性。

ABSTRACT

Bio-inspired learning has been gaining popularity recently given that Backpropagation (BP) is not considered biologically plausible. Many algorithms have been proposed in the literature which are all more biologically plausible than BP. However, apart from overcoming the biological implausibility of BP, a strong motivation for using Bio-inspired algorithms remains lacking. In this study, we undertake a holistic comparison of BP vs. multiple Bio-inspired algorithms to answer the question of whether Bio-learning offers additional benefits over BP. We test Bio-algorithms under different design choices such as access to only partial training data, resource constraints in terms of the number of training epochs, sparsification of the neural network parameters and addition of noise to input samples. Through these experiments, we notably find two key advantages of Bio-algorithms over BP. Firstly, Bio-algorithms perform much better than BP when the entire training dataset is not supplied. Four of the five Bio-algorithms tested outperform BP by upto 5% accuracy when only 20% of the training dataset is available. Secondly, even when the full dataset is available, Bio-algorithms learn much quicker and converge to a stable accuracy in far lesser training epochs than BP. Hebbian learning, specifically, is able to learn in just 5 epochs compared to around 100 epochs required by BP. These insights present practical reasons for utilising Bio-learning beyond just their biological plausibility and also point towards interesting new directions for future work on Bio-learning.

研究动机与目标

• 评估生物启发式学习算法是否在生物合理性之外，相较于反向传播具有实际优势。
• 研究在有限训练数据、减少训练周期数、输入噪声和模型稀疏性等现实约束下的性能差异。
• 识别生物学习在边缘AI和数据稀缺环境等实际应用中的切实优势。
• 通过特征可视化，分析生物算法与BP在表征学习质量方面的差异。
• 评估生物算法在极端参数稀疏性和噪声输入下的鲁棒性。

提出的方法

• 基准测试了五种生物启发式算法：赫布学习、反馈对齐（FA）、直接反馈对齐（DFA）、预测编码（PC）和差异目标传播（DTP）。
• 在四种实验设置下评估性能：20%的训练数据、有限周期数（最多100个周期）、输入噪声（高斯噪声和胡椒噪声）以及95%的权重稀疏性。
• 使用标准数据集：CIFAR-10、CIFAR-100和SST-2（用于自然语言处理情感分类）。
• 通过10次随机种子训练模型，以计算平均准确率和标准差。
• 使用激活图可视化学习到的特征，比较BP与赫布学习在可解释性和结构上的差异。
• 在95%稀疏性下应用网络剪枝，并使用标准图像损坏技术评估对噪声的鲁棒性。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，生物启发式学习算法是否优于反向传播？
• RQ2 生物算法是否能在更少的训练周期内实现更快收敛和稳定性能，相较于BP？
• RQ3 在输入噪声和模型稀疏性条件下，生物算法相较于BP的表现如何？
• RQ4 生物算法是否学习到比BP更可解释或更细粒度的特征？
• RQ5 生物学习的优势是否在不同领域（如自然语言处理）中依然成立？

主要发现

• 在仅使用20%训练数据时，五种生物算法中的四种（FA、DFA、HB、PC）准确率最高比BP高出5%。
• 赫布学习在数据有限和训练预算受限条件下，准确率最高比BP高出20%，且仅用5个周期即完成收敛，而BP约需100个周期。
• 赫布学习收敛速度比BP快20倍，在多个数据集上仅用5个周期即达到稳定准确率。
• 特征可视化显示，赫布学习学习到的特征更具细粒度和可解释性，而BP学习到的特征则显得更随机。
• 在CIFAR-10和CIFAR-100上，生物算法（尤其是DFA）在高斯噪声和胡椒噪声下均优于BP，DFA在噪声条件下准确率甚至超过BP。
• 在极端稀疏性（95%剪枝权重）下，生物学习保持高准确率，表现与BP相当或更优，除赫布学习外，所有算法均表现出对稀疏性的鲁棒性。