[论文解读] Gradient target propagation
本文提出梯度目标传播（gradient target propagation），一种反向传播的替代方法，通过为每个神经元分配目标值，利用局部更新引导学习。通过估计每个神经元对最小化损失的贡献，该方法结合了反向传播与赫布学习，采用一种新颖的权重初始化技术，在MNIST、Fashion-MNIST和CIFAR-10上实现了与标准反向传播相当的性能。
We report a learning rule for neural networks that computes how much each neuron should contribute to minimize a giving cost function via the estimation of its target value. By theoretical analysis, we show that this learning rule contains backpropagation, Hebian learning, and additional terms. We also give a general technique for weights initialization. Our results are at least as good as those obtained with backpropagation. The neural networks are trained and tested in three problems: MNIST, MNIST-Fashion, and CIFAR-10 datasets. The associated code is available at https://github.com/tiago939/target.
研究动机与目标
- 开发一种学习规则，为每个神经元分配有意义的目标值，以指导训练，而无需完全依赖反向传播。
- 解决纯局部学习规则（如赫布学习）在非局部网络组件中难以有效分配信用的问题。
- 提供一种理论基础坚实、数值稳定的计算目标的方法，避免依赖基于自编码器的逆近似。
- 提出一种基于神经元不确定性的系统性权重初始化技术，以改善训练收敛性和性能。
- 在包括MNIST、Fashion-MNIST和CIFAR-10在内的多样化数据集上，展示与反向传播相竞争的性能。
提出的方法
- 提出梯度目标传播（GTP），一种基于损失相对于该神经元激活的梯度计算每个神经元目标激活的学习规则。
- 使用数值近似求解目标值的逆问题，避免对非线性函数进行直接求逆。
- 推导出GTP与反向传播之间的理论联系，表明GTP可涵盖反向传播和赫布学习作为特例。
- 提出一种基于神经元激活期望方差的权重初始化方法，确保初始权重被设定为在保持稳定性的同时最大化激活不确定性。
- 在目标传播中采用固定的学习率和时间步长，超参数根据数据集和网络深度进行调优。
- 在前馈网络上应用该方法，使用标准的训练/测试划分和评估指标，在三个基准数据集上进行实验。
实验结果
研究问题
- RQ1一种为单个神经元分配目标的学习规则是否能达到与反向传播相当的性能？
- RQ2梯度目标传播与现有学习规则（如反向传播和赫布学习）有何关系？
- RQ3一种基于神经元不确定性的系统性权重初始化技术是否能改善训练稳定性和收敛性？
- RQ4梯度目标传播在不同网络架构和数据集（包括CIFAR-10等高维数据集）上是否依然有效？
- RQ5哪些计算和数值限制因素会制约目标传播在深层网络中的可扩展性和稳定性？
主要发现
- 在MNIST上，使用784-500-500-10网络，梯度目标传播达到98.23%的测试准确率，与标准反向传播性能相当。
- 在Fashion-MNIST上，使用784-100-100-100-10架构，该方法达到87.92%的准确率，表明其在更复杂的视觉数据集上具有强大的泛化能力。
- 在CIFAR-10上，最佳结果为47.11%的准确率，使用3072-500-500-500-10网络，该结果与标准反向传播在前馈网络上的表现一致。
- 理论分析证实，梯度目标传播推广了反向传播和赫布学习，整合了局部与非局部学习信号。
- 所提出的权重初始化技术提高了训练稳定性，并在深层网络中显著提升了性能。
- 该方法保持了数值稳定性和可扩展性，但若未针对各层仔细调整学习率，性能会随网络深度增加而下降。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。