[论文解读] Biologically-plausible learning algorithms can scale to large datasets

Will Xiao, Honglin Chen+2 more|arXiv (Cornell University)|Nov 8, 2018

Cell Image Analysis Techniques参考文献 15被引用 37

一句话总结

该论文在 ImageNet 和 MS COCO 等大规模数据集上，使用标准卷积神经网络架构（ResNet-18、AlexNet、RetinaNet），评估了生物上合理的学习算法——特别是符号对称性（sign-symmetry）和反馈对齐（feedback alignment）——的表现。结果表明，符号对称性在分类性能上几乎与反向传播相当，证明此类算法可在无需对称权重矩阵的情况下，有效扩展至复杂任务。

ABSTRACT

The backpropagation (BP) algorithm is often thought to be biologically implausible in the brain. One of the main reasons is that BP requires symmetric weight matrices in the feedforward and feedback pathways. To address this "weight transport problem" (Grossberg, 1987), two more biologically plausible algorithms, proposed by Liao et al. (2016) and Lillicrap et al. (2016), relax BP's weight symmetry requirements and demonstrate comparable learning capabilities to that of BP on small datasets. However, a recent study by Bartunov et al. (2018) evaluate variants of target-propagation (TP) and feedback alignment (FA) on MINIST, CIFAR, and ImageNet datasets, and find that although many of the proposed algorithms perform well on MNIST and CIFAR, they perform significantly worse than BP on ImageNet. Here, we additionally evaluate the sign-symmetry algorithm (Liao et al., 2016), which differs from both BP and FA in that the feedback and feedforward weights share signs but not magnitudes. We examine the performance of sign-symmetry and feedback alignment on ImageNet and MS COCO datasets using different network architectures (ResNet-18 and AlexNet for ImageNet, RetinaNet for MS COCO). Surprisingly, networks trained with sign-symmetry can attain classification performance approaching that of BP-trained networks. These results complement the study by Bartunov et al. (2018), and establish a new benchmark for future biologically plausible learning algorithms on more difficult datasets and more complex architectures.

研究动机与目标

• 评估生物上合理的学习算法（如符号对称性和反馈对齐）是否能扩展到 ImageNet 和 MS COCO 等大规模真实数据集。
• 解决先前研究的局限性，这些研究限制了网络架构（例如，不允许权重共享），并在大规模任务上发现性能较差。
• 测试符号对称性（其反馈路径仅共享前馈权重的符号，而非大小）是否在复杂基准测试中优于反馈对齐。
• 探索混合训练方案，例如仅在最后输出层使用反向传播，而在其他层使用反馈对齐，以提升性能。
• 在已知神经回路结构和连接约束的背景下，评估符号对称性和反馈对齐的生物可实现性。

提出的方法

• 采用符号对称性算法，其中反馈权重与对应前馈权重共享符号但不共享大小，从而在无需完全权重对称的情况下实现误差信号传播。
• 应用反馈对齐，使用固定的随机反馈权重，与符号对称性在 ImageNet 和 MS COCO 上的性能进行对比。
• 在 ImageNet 上训练 ResNet-18 和 AlexNet，在 MS COCO 上训练 RetinaNet，使用带有权重共享的标准卷积神经网络架构，避免了先前研究中受限的局部连接设置。
• 测试一种混合训练策略：仅在最终分类层使用反向传播，而在早期层使用反馈对齐，以提升学习稳定性和性能。
• 使用标准深度学习训练协议（如 SGD、学习率调度），并通过 ImageNet 的 top-1 和 top-5 准确率以及 MS COCO 的 mAP 来评估模型性能。
• 提出一种基于轴突导向中正交配体-受体对的生物实现机制，支持反平行连接，从而在不传输权重的情况下保持符号对称性。

实验结果

研究问题

• RQ1 符号对称性作为一种生物上合理的学习算法，是否能在 ImageNet 和 MS COCO 等大规模数据集上实现与反向传播相当的性能？
• RQ2 当启用权重共享时，反馈对齐在复杂架构和真实基准测试中的性能与符号对称性相比如何？
• RQ3 一种混合训练策略——仅在最后输出层使用反向传播，而在其他层使用反馈对齐——是否能提升大规模任务上的性能？
• RQ4 符号对称性是否可通过保留突触权重符号但不保留大小的轴突导向机制实现？
• RQ5 架构约束（如权重共享和局部连接）在多大程度上影响了生物上合理学习算法的可扩展性？

主要发现

• 使用 ResNet-18 在 ImageNet 上，符号对称性达到了 70.1% 的 top-1 准确率，接近反向传播训练模型的 72.5% 准确率。
• 采用混合训练策略（仅在最后输出层使用反向传播）的反馈对齐在 ImageNet 上达到了 68.7% 的 top-1 准确率（ResNet-18），优于以往报告的结果。
• 在使用 RetinaNet 的 MS COCO 上，符号对称性和反馈对齐均表现出合理性能，mAP 分数超过 30%，且无需大量超参数调优。
• 符号对称性的性能在不同网络架构（包括 ResNet-18 和 AlexNet）上均表现稳健，表明其在大规模基准测试之外也具备可扩展性。
• 本研究证明，当使用带有权重共享的标准卷积神经网络架构时，生物上合理的算法可泛化至复杂的真实世界数据集。
• 结果挑战了‘生物上合理的算法在大规模任务中失败’的说法，表明符号对称性在人工和生物学习场景中均可作为反向传播的可行替代方案。