[论文解读] Cooperation Is All You Need

Ahsan Adeel, Junaid Muzaffar+6 more|arXiv (Cornell University)|May 16, 2023

Neural dynamics and brain functionNeuroscience被引用 3

一句话总结

该论文提出 Cooperator，一种受新皮层中上下文敏感的双点金字塔形神经元启发的协作式神经架构，在排列不变的强化学习任务中表现优于基于 Transformer 的模型。尽管参数量相同，Cooperator 通过利用上下文反馈抑制无关的前向信号，实现了更高效、更稳健的信息处理，在 CartPole 和 PyBullet Ant 环境中显著加快了学习速度并获得了更高的适应度分数。

ABSTRACT

Going beyond 'dendritic democracy', we introduce a 'democracy of local processors', termed Cooperator. Here we compare their capabilities when used in permutation invariant neural networks for reinforcement learning (RL), with machine learning algorithms based on Transformers, such as ChatGPT. Transformers are based on the long standing conception of integrate-and-fire 'point' neurons, whereas Cooperator is inspired by recent neurobiological breakthroughs suggesting that the cellular foundations of mental life depend on context-sensitive pyramidal neurons in the neocortex which have two functionally distinct points. Weshow that when used for RL, an algorithm based on Cooperator learns far quicker than that based on Transformer, even while having the same number of parameters.

研究动机与目标

• 为解决基于点神经元的模型在深度学习中效率低下的问题，这些模型会无差别地传输所有输入，无论其相关性如何。
• 探究受双点金字塔形神经元启发的上下文敏感神经处理是否能在强化学习中超越标准注意力机制。
• 证明在局部处理器之间通过上下文反馈引导的协作，可提升排列不变强化学习智能体的学习速度与稳定性。
• 通过提出一种‘局部处理器民主’（DoLP）机制，挑战深度网络中‘树突民主’的主导地位，该机制优先考虑上下文一致性而非原始输入整合。

提出的方法

• Cooperator 实现了一种双点神经元模型，其中基底树突接收前向输入，而顶端树突则整合来自邻近神经元的上下文信号。
• 上下文敏感处理器计算一个上下文整合区（C），即邻近神经元平均意见的聚合，该区域调节前向信号的传输。
• 当神经元的感知与大多数邻居一致时，传输概率被增强，从而抑制冲突或无关的输入。
• 该架构采用单层此类上下文敏感神经元，后接一个简单的策略网络，保持与基线 Transformer 相同的参数量。
• 在脉冲模拟中，模型采用爆发依赖的突触可塑性，以增强学习效率和鲁棒性。
• 通过使用类似注意力的机制处理输入，而不依赖固定顺序，同时利用上下文协作，从而保持排列不变性。

实验结果

研究问题

• RQ1 在参数量相同的情况下，协作式、上下文敏感的神经架构是否能在强化学习中超越标准 Transformer？
• RQ2 与传统积分-放电点神经元相比，双点神经元中的上下文敏感处理如何提升学习速度并减少噪声？
• RQ3 局部处理器之间的上下文对齐在多大程度上提升了深度网络中的信息传输效率并降低了能耗？
• RQ4 所提出的 DoLP 机制——即神经元协作以抑制无关信号——是否能带来更快的收敛速度和更低的训练方差？

主要发现

• 在 CartPole 环境中，Cooperator 在 10,000 集合后达到适应度分数 538 ± 419，显著优于 Transformer 的 340 ± 310。
• 对于打乱顺序的输入，Cooperator 在 5,000 集合时达到 508 ± 408，而 Transformer 始终低于 350，表明其对输入顺序变化具有更强的鲁棒性。
• 在 PyBullet Ant 任务中，Cooperator 在 1,000 集合后达到 1,170 ± 35 适应度点，而 Transformer 仅为 121 ± 53，展现出显著的性能差距。
• 即使输入顺序被随机化，Cooperator 也表现出更低的训练方差，并比基线更快达到更高的适应度分数。
• 该模型在打乱和未打乱输入场景下均表现出稳定且一致的性能，表明其具备强大的泛化能力和鲁棒性。
• 结果支持了以下假设：上下文敏感的协作处理可减少神经活动与能耗，同时提升学习效率与鲁棒性。