[论文解读] Dendritic cortical microcircuits approximate the backpropagation algorithm

João Sacramento, Rui Ponte Costa+2 more|arXiv (Cornell University)|Oct 26, 2018

Neural dynamics and brain function被引用 93

一句话总结

论文提出一个多腔室皮质微回路模型，其中误差信号在顶树突编码，学习持续进行，近似反向传播而不需要明确的阶段。

ABSTRACT

Deep learning has seen remarkable developments over the last years, many of them inspired by neuroscience. However, the main learning mechanism behind these advances - error backpropagation - appears to be at odds with neurobiology. Here, we introduce a multilayer neuronal network model with simplified dendritic compartments in which error-driven synaptic plasticity adapts the network towards a global desired output. In contrast to previous work our model does not require separate phases and synaptic learning is driven by local dendritic prediction errors continuously in time. Such errors originate at apical dendrites and occur due to a mismatch between predictive input from lateral interneurons and activity from actual top-down feedback. Through the use of simple dendritic compartments and different cell-types our model can represent both error and normal activity within a pyramidal neuron. We demonstrate the learning capabilities of the model in regression and classification tasks, and show analytically that it approximates the error backpropagation algorithm. Moreover, our framework is consistent with recent observations of learning between brain areas and the architecture of cortical microcircuits. Overall, we introduce a novel view of learning on dendritic cortical circuits and on how the brain may solve the long-standing synaptic credit assignment problem.

研究动机与目标

• 为深度网络中的突触信用分配问题提供一个生物学上可行的解决方案。
• 提出一个具有树突腔室的多层网络，用于编码学习中的误差。
• 证明连续的局部可塑性在理论和实验上近似反向传播。
• 展示该模型能够执行非线性回归和MNIST数字分类。
• 将该框架与皮层微回路结构和预测编码理论联系起来。

提出的方法

• 使用对金字塔神经元的3腔室模型，包含体膜、基底树突和顶树突腔。
• 引入能够抵消顶下行输入以干净地编码顶树突误差的中间神经元。
• 定义依赖局部树突预测误差和前向活动的突触学习规则（方程6–10）。
• 证明在没有教学信号时顶树突活动被抵消的自预测网络状态。
• 提供解析推导，展示在弱反馈极限和通过反馈对齐时更新如何近似反向传播。
• 在非线性回归和MNIST分类上进行经验评估，采用持续学习且无阶段性学习。

实验结果

研究问题

• RQ1 树突腔是否能编码预测误差，驱动生物学上可行网络中自下向上的连接学习？
• RQ2 多层树突电路中的连续局部突触可塑性规则是否近似反向传播？
• RQ3 横向SST抑制性中间神经元和顶下行反馈如何在不需要分阶段的情况下促进误差信号传递和学习？
• RQ4 这样的网络是否能学习非线性映射并处理像MNIST分类这样的实际任务？
• RQ5 反馈对齐和顶下行权重对称性在实现类反向传播学习中的作用是什么？
• RQ6 ],
• RQ7 key_findings_list_start_1s_empty_
• RQ8 key_findingsAdditionally_
• RQ9 key_findings możliwości
• RQ10 key_findings_again
• RQ11 key_findings_empty_headers

主要发现

• 模型的顶树突树突编码来自横向中间神经元输入与顶下行反馈之间不匹配的误差，推动局部可塑性以最小化误差。
• analytically, under self-predicting conditions and small feedback strength, bottom-up weight updates converge to backpropagation updates (modulo a scaling factor and weight symmetry or alignment constraints).
• 网络在持续学习且不交替学习阶段的情况下学习非线性回归任务，达到有竞争力的性能。
• 在四层网络的MNIST分类中，该模型达到1.96%的测试误差，接近基于反向传播的非卷积网络。
• 该方法支持关于误差在皮层区域间传播的预测，并与观察到的SST抑制性中间神经元的作用以及预测编码的解释相一致。
• 该模型通过反馈对齐对前向与反馈权重之间的对称性破缺保持鲁棒性。