[论文解读] Leader-Follower Neural Networks with Local Error Signals Inspired by Complex Collectives

Chenzhong Yin, Mingxi Cheng+5 more|arXiv (Cornell University)|Oct 11, 2023

Neural Networks and Reservoir Computing被引用 4

一句话总结

本文提出领导者-追随者神经网络（LFNN），一种受生物启发的深度学习架构，其中分层结构中的领导者与追随者使用局部误差信号进行训练，从而无需全局反向传播。LFNN-ℓ 是无反向传播的变体，在 MNIST、CIFAR-10 和 ImageNet 上实现了最先进性能，优于所有先前的无反向传播算法，并在关键基准测试中达到或超过使用反向传播的基线模型表现。

ABSTRACT

The collective behavior of a network with heterogeneous, resource-limited information processing units (e.g., group of fish, flock of birds, or network of neurons) demonstrates high self-organization and complexity. These emergent properties arise from simple interaction rules where certain individuals can exhibit leadership-like behavior and influence the collective activity of the group. Motivated by the intricacy of these collectives, we propose a neural network (NN) architecture inspired by the rules observed in nature's collective ensembles. This NN structure contains workers that encompass one or more information processing units (e.g., neurons, filters, layers, or blocks of layers). Workers are either leaders or followers, and we train a leader-follower neural network (LFNN) by leveraging local error signals and optionally incorporating backpropagation (BP) and global loss. We investigate worker behavior and evaluate LFNNs through extensive experimentation. Our LFNNs trained with local error signals achieve significantly lower error rates than previous BP-free algorithms on MNIST and CIFAR-10 and even surpass BP-enabled baselines. In the case of ImageNet, our LFNN-l demonstrates superior scalability and outperforms previous BP-free algorithms by a significant margin.

研究动机与目标

• 开发一种受自然界集体行为（如鸟群和神经网络）启发的生物合理性深度学习架构。
• 通过用局部学习机制替代全局误差信号，解决反向传播在人工神经网络中计算与生物学上的不切实际性。
• 探究在领导者-追随者层级结构中使用局部误差信号是否能实现与基于反向传播的模型相当的性能。
• 评估所提出架构在包括 ImageNet 在内的多样化数据集上的可扩展性与泛化能力。
• 探索领导力规模对模型性能及网络复杂度的影响。

提出的方法

• 网络被组织成分层的领导者与追随者工作节点，其中领导者拥有更广泛的信息访问权限并影响整体行为。
• 领导者与追随者使用源自其各自输出与目标标签的独立局部误差信号，实现去中心化训练。
• 该架构支持同时使用反向传播训练（LFNN）与无反向传播训练（LFNN-ℓ），后者完全依赖局部损失信号。
• 引入领导力比例作为超参数，以控制每层中领导者所占比例，从而影响信息流动与学习动态。
• 使用随机梯度下降结合局部误差信号进行模型训练，可选地引入全局损失以提升性能。
• 在 MNIST、CIFAR-10 和 ImageNet 上开展实验，采用 ResNet-50 及其他架构，以评估可扩展性与准确性。

实验结果

研究问题

• RQ1 具有局部误差信号的领导者-追随者神经网络架构是否能实现与基于反向传播的模型相当的性能？
• RQ2 网络中领导者所占比例如何影响不同数据集上的模型准确率与泛化能力？
• RQ3 无反向传播变体（LFNN-ℓ）是否能在标准基准上超越现有生物合理且无反向传播的学习算法？
• RQ4 分层的领导者-追随者结构是否能提升在 ImageNet 等大规模数据集上的可扩展性与性能？
• RQ5 在学习效率与准确率方面，网络深度、领导力规模与数据集复杂度之间存在何种关系？

主要发现

• 在 Tiny ImageNet 上，LFNN-ℓ 的测试误差率为 36.06%，优于所有其他无反向传播基线模型，并接近使用反向传播模型的性能。
• 在 ImageNet 子集上，LFNN-ℓ 在 90% 领导力比例下达到 53.82% 的测试误差率，超越所有先前的无反向传播模型，并接近使用反向传播基线模型的 50.6% 误差率。
• 在 MNIST 与 CIFAR-10 上，LFNN-ℓ 的误差率显著低于以往的无反向传播算法，表明其在小到中等规模任务上具有强大的泛化能力。
• LFNN-ℓ 的性能随模型参数量增加而提升，表明其具备良好的可扩展性与进一步优化潜力。
• 在 Tiny ImageNet 与 ImageNet 子集上，90% 的领导力比例均取得最佳结果，表明复杂数据集需要更高的领导力水平。
• 结果表明，通过领导者-追随者层级结构实现的局部学习可在无需全局反向传播的情况下实现具有竞争力的性能，为标准训练提供一种生物合理的替代方案。