[论文解读] Cortical credit assignment by Hebbian, neuromodulatory and inhibitory plasticity

Johnatan Aljadeff, James A. D’amour+3 more|arXiv (Cornell University)|Nov 1, 2019

EEG and Brain-Computer Interfaces参考文献 81被引用 11

一句话总结

本文提出了一种新皮层中生物上合理的学习机制，通过结合赫布型、乙酰胆碱依赖型、去甲肾上腺素依赖型以及抑制性可塑性，解决了信用分配问题。该模型利用神经调质信号间接引导突触可塑性变化，并通过抑制性可塑性维持兴奋性/抑制性（E/I）平衡，即使在误差信号不完整的情况下，仍能实现高达约70%理论容量的稳健学习。

ABSTRACT

The cortex learns to make associations between stimuli and spiking activity which supports behaviour. It does this by adjusting synaptic weights. The complexity of these transformations implies that synapses have to change without access to the full error information, a problem typically referred to as "credit-assignment". However, it remains unknown how the cortex solves this problem. We propose that a combination of plasticity rules, 1) Hebbian, 2) acetylcholine-dependent and 3) noradrenaline-dependent excitatory plasticity, together with 4) inhibitory plasticity restoring E/I balance, effectively solves the credit assignment problem. We derive conditions under-which a neuron model can learn a number of associations approaching its theoretical capacity. We confirm our predictions regarding acetylcholine-dependent and inhibitory plasticity by reanalysing experimental data. Our work suggests that detailed cortical E/I balance reduces the dimensionality of the problem of associating inputs with outputs, thereby allowing imperfect "supervision" by neuromodulatory systems to guide learning effectively.

研究动机与目标

• 解决当完整误差信号不可用时，新皮层如何对突触进行信用分配的问题。
• 研究乙酰胆碱和去甲肾上腺素如何在缺乏显式误差反馈的情况下间接引导突触可塑性。
• 考察抑制性可塑性在学习过程中维持E/I平衡的作用。
• 推导出神经元在使用局部、生物上合理可塑性规则时，能够学习大量关联的条件。
• 通过重新分析实验数据，验证关于ACh依赖型和抑制性可塑性的预测。

提出的方法

• 构建一个具有兴奋性和抑制性突触的生物约束神经元模型，整合赫布型、ACh依赖型和NE依赖型可塑性规则。
• 提出一个从完整网络模型推导出的E/I空间中学习动态的简化数学模型。
• 使用阈值穿越近似方法计算平均突触权重变化，根据与动作电位阈值的接近程度将E/I空间划分为不同区域。
• 应用一种神经调质门控的可塑性规则，其中长时程增强（LTP）和长时程抑制（LTD）取决于突触前和突触后活动，以及ACh和NE的存在。
• 引入抑制性可塑性，通过调节抑制性权重来维持E/I平衡，从而降低信用分配问题的维度。
• 进行理论分析，推导出稳健学习的条件，包括可塑性参数约束和E/I平衡线偏移量。

实验结果

研究问题

• RQ1 赫布型、神经调质门控型以及抑制性可塑性规则的组合是否能在缺乏显式误差信号的情况下，实现新皮层神经元的有效信用分配？
• RQ2 通过降低E/I平衡的维度，E/I平衡的减少如何提升在不完美神经调质监督下的学习效率？
• RQ3 在使用局部可塑性规则时，神经元在何种条件下能够学习接近其理论容量的关联数量？
• RQ4 在缺乏完整误差反馈的情况下，乙酰胆碱和去甲肾上腺素如何影响突触权重动态？
• RQ5 实验数据在多大程度上支持关于ACh依赖型和抑制性可塑性的模型预测？

主要发现

• 即使在间接神经调质监督下，该模型仍能实现高达约70%理论最大关联数的稳健学习。
• 当E/I平衡线偏离原点时，特别是当ACh依赖型LTD偏置参数β_A大于1时，突触权重分布呈现双峰特征，表明ACh可塑性具有抑制倾向。
• 抑制性可塑性对于稳定学习和维持E/I平衡至关重要，尤其是在E/I平衡线与动作电位阈值相交远离原点时。
• 赫布型学习速率必须谨慎控制；过高的值会引入噪声并干扰神经调质的引导作用，从而降低性能。
• 该模型预测，对于非配对输入，ACh依赖型可塑性将表现出向长时程抑制（LTD）偏移的倾向，与实验观察结果一致。
• 对实验数据的重新分析支持了模型关于ACh依赖型和抑制性可塑性的预测，验证了所提出的机制。