[论文解读] Dis-inhibitory neuronal circuits can control the sign of synaptic plasticity

Julian Rossbroich, Friedemann Zenke|arXiv (Cornell University)|Oct 30, 2023

Neural dynamics and brain function被引用 4

一句话总结

本文提出了一种生物学上可行的学习规则，其中自上而下的去抑制性回路编码误差信号，控制突触可塑性的符号。通过推导依赖于循环抑制的赫布规则，该模型在无需显式误差神经元的情况下自然实现了基于梯度的学习，其在视觉基准测试中的性能与反向传播相当，同时调和了功能理论与实验观察到的可塑性规则之间的矛盾。

ABSTRACT

How neuronal circuits achieve credit assignment remains a central unsolved question in systems neuroscience. Various studies have suggested plausible solutions for back-propagating error signals through multi-layer networks. These purely functionally motivated models assume distinct neuronal compartments to represent local error signals that determine the sign of synaptic plasticity. However, this explicit error modulation is inconsistent with phenomenological plasticity models in which the sign depends primarily on postsynaptic activity. Here we show how a plausible microcircuit model and Hebbian learning rule derived within an adaptive control theory framework can resolve this discrepancy. Assuming errors are encoded in top-down dis-inhibitory synaptic afferents, we show that error-modulated learning emerges naturally at the circuit level when recurrent inhibition explicitly influences Hebbian plasticity. The same learning rule accounts for experimentally observed plasticity in the absence of inhibition and performs comparably to back-propagation of error (BP) on several non-linearly separable benchmarks. Our findings bridge the gap between functional and experimentally observed plasticity rules and make concrete predictions on inhibitory modulation of excitatory plasticity.

研究动机与目标

• 解决梯度学习的规范理论与大脑中现象学赫布可塑性规则之间的差异。
• 展示误差信号如何通过自上而下的去抑制性输入而非显式的局部误差神经元进行编码。
• 开发一种能解释实验观察到的可塑性动态并支持深层网络中有效信用分配的生物学上可行的学习规则。
• 证明依赖抑制的可塑性能够稳定失控的赫布学习，并支持非线性可分任务。

提出的方法

• 作者将深度反馈控制（DFC）框架扩展至去抑制性微环路模式，其中自上而下的输入作用于抑制性中间神经元以调节兴奋性。
• 推导出一种赫布可塑性规则，明确依赖于抑制性电流，使可塑性的符号可通过去抑制性反馈进行控制。
• 学习规则采用控制理论框架实现，通过网络雅可比矩阵计算反馈权重，同时测试了瞬时和平均雅可比矩阵反馈以增强生物学合理性。
• 数值模拟使用Tsitouras五阶龙格-库塔法，采用自适应步长求解动力学方程直至达到平衡，随后通过ADAM优化器进行权重更新。
• 分类任务采用线性输出层，结合交叉熵损失和软目标（正确类别为0.99，其余类别为0.01/(n−1)），以避免Softmax饱和问题。
• 反馈权重计算为归一化的雅可比矩阵，同时测试了输入相关和平均雅可比矩阵两种变体以评估生物学合理性。

Figure 1: Explicit error modulation of the sign of plasticity is inconsistent with phenomenological plasticity models. (a) In neuronal circuits, top-down feedback connections target excitatory neurons, as well as inhibitory and dis-inhibitory circuits that have been implicated in gating of plasticit

实验结果

研究问题

• RQ1 去抑制性微环路是否能自然编码误差信号以控制突触可塑性的符号，而无需显式误差神经元？
• RQ2 具有抑制依赖性的赫布可塑性规则如何再现实验观察到的可塑性动态？
• RQ3 此类规则是否能在深层网络中实现与反向传播相当的性能？
• RQ4 该学习规则是否稳定，并能处理非线性可分任务？

主要发现

• 在使用精确逆反馈规则的三层网络中，去抑制性学习规则在MNIST数据集上达到97.5±0.19%的验证准确率，与反向传播的98.2±0.14%相当。
• 采用平均雅可比矩阵反馈时，该规则在三层MNIST网络上达到96.9±1.6%的准确率，证明其对生物上不切实际的输入依赖反馈具有鲁棒性。
• 在Fashion-MNIST上，该规则在使用精确逆反馈时达到90.0±0.38%的准确率，与反向传播在相同任务上的90.3±0.34%相当。
• 该模型通过依赖抑制的学习成功稳定了失控的赫布可塑性，防止了权重的无控制增长。
• 所推导的学习规则在模拟实验条件下定性匹配了现象学可塑性模型，解决了文献中一个关键的不一致性。
• 该框架预测，特定中间神经元的自上而下去抑制性输入可调控兴奋性可塑性，为实验验证提供了可检验的假设。

Figure 2: Illustration of a multi-layer network with dis-inhibitory control microcircuits (left). Each network unit consists of an excitatory and inhibitory neuron that are recurrently connected (right). The top-down control signal to each layer $\mathbf{Q}_{i}\mathbf{c}(t)$ is relayed through dis-i