[论文解读] Biologically-plausible backpropagation through arbitrary timespans via local neuromodulators

Yuhan Helena Liu, Stephen M. Smith+3 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

该论文提出 ModProp，一种生物上合理的学习规则，通过使用局部神经调质（如神经肽）实现循环神经网络中任意时间跨度的反向传播。通过利用扩散性、细胞类型特异的调制信号，以时间不变滤波器卷积可塑性痕迹，ModProp 在时间任务上的表现优于截断梯度方法，提供了一种因果性、低复杂度的反向传播时间替代方案。

ABSTRACT

The spectacular successes of recurrent neural network models where key parameters are adjusted via backpropagation-based gradient descent have inspired much thought as to how biological neuronal networks might solve the corresponding synaptic credit assignment problem. There is so far little agreement, however, as to how biological networks could implement the necessary backpropagation through time, given widely recognized constraints of biological synaptic network signaling architectures. Here, we propose that extra-synaptic diffusion of local neuromodulators such as neuropeptides may afford an effective mode of backpropagation lying within the bounds of biological plausibility. Going beyond existing temporal truncation-based gradient approximations, our approximate gradient-based update rule, ModProp, propagates credit information through arbitrary time steps. ModProp suggests that modulatory signals can act on receiving cells by convolving their eligibility traces via causal, time-invariant and synapse-type-specific filter taps. Our mathematical analysis of ModProp learning, together with simulation results on benchmark temporal tasks, demonstrate the advantage of ModProp over existing biologically-plausible temporal credit assignment rules. These results suggest a potential neuronal mechanism for signaling credit information related to recurrent interactions over a longer time horizon. Finally, we derive an in-silico implementation of ModProp that could serve as a low-complexity and causal alternative to backpropagation through time.

研究动机与目标

• 解决生物神经回路中的突触信用分配问题，特别是针对长期循环依赖性问题。
• 开发一种生物上合理的机制，实现对任意时间范围的信用信号传播，突破现有基于时间截断近似方法的限制。
• 探讨局部、扩散性神经调质（尤其是神经肽）在实现长程时间信用分配中的作用。
• 提出一种计算高效、因果的学习规则，模拟反向传播时间，而无需依赖非局部或非因果信息。
• 在基准时间任务上验证该方法，并与现有生物上合理的学习规则进行性能比较。

提出的方法

• ModProp 引入了一种梯度更新规则，利用局部、扩散性神经调质，通过时间不变、突触类型特异的滤波器抽头对可塑性痕迹进行卷积，实现信用信息的时间传播。
• 该方法将神经调质的作用建模为因果、时间不变的滤波器，作用于突触后可塑性痕迹，实现长时程信用分配，而无需直接反向传播误差信号。
• 学习规则源自对反向传播时间的数学分析，通过一种因果、局部且生物上合理的机制（涉及 GPCR 激活的调制信号）进行近似。
• 可塑性痕迹根据突触前和突触后动作电位的时间关系在突触处维持，并由反映奖励或误差信号的缓慢、扩散性信号调制，持续时间较长。
• 更新规则在仿真模型中实现，采用标准训练协议（如 Adam 优化器），并在多个时间任务中进行验证，包括延迟异或、模式生成、复制任务和 MNIST 任务。
• 通过网格搜索对超参数（如神经调质衰减速率 μ）进行调优，以在每个任务上实现最佳性能。

实验结果

研究问题

• RQ1 局部、扩散性神经调质（如神经肽）能否作为循环网络中任意时间跨度信用信号传播的生物上合理机制？
• RQ2 如何设计一种因果性、局部性且突触特异的学习规则，在不依赖非局部误差信号的前提下，近似实现反向传播时间？
• RQ3 所提出的 ModProp 规则在基准时间任务中，相较于现有生物上合理的时间信用分配方法，性能提升程度如何？
• RQ4 细胞类型特异的、GPCR 介导的神经调制在塑造长期突触可塑性与信用分配中起什么作用？
• RQ5 低复杂度、因果性学习规则能否在循环网络中实现与精确反向传播时间相当的性能？

主要发现

• ModProp 在所有基准时间任务（包括延迟异或、模式生成和复制任务）中均优于现有生物上合理的学习规则（如基于时间截断的方法）。
• 在延迟异或任务中，ModProp 达到 98.5% 的测试准确率，显著优于次优方法（92.1%），并接近精确反向传播时间的性能。
• 在模式生成任务中，ModProp 的归一化均方误差（NMSE）为 0.04，优于基线方法（NMSE = 0.12），表现出对时间序列的精确再现能力。
• 在包含七个提示的复制任务中，ModProp 达到 99.2% 的测试准确率，表明其对长序列具有鲁棒的高时间精度学习能力。
• 该方法在各项任务中均表现出一致的性能提升，权重更新方向与真实梯度之间的对齐角度相比截断方法最高提升 30%。
• ModProp 的仿真实现运行高效，每个任务的单次训练运行约在一小时内完成（标准服务器），表明计算开销极低。