[论文解读] Deep learning with segregated dendrites

Jordan Guergiuev, Timothy Lillicrap+1 more|arXiv (Cornell University)|Oct 1, 2016

Neural dynamics and brain function参考文献 6被引用 7

一句话总结

本文提出一种生物上合理的深度学习模型，采用具有电紧张性分离树突的多分量神经元，以实现分层学习。通过将感觉输入与反馈信号分离到不同的树突 compartment 中，该模型协调了跨层的突触权重更新，实现了类似反向传播的学习并提升了图像分类性能——表明深度学习可从类似新皮层锥体神经元的神经架构中自然涌现。

ABSTRACT

Deep learning has led to significant advances in artificial intelligence, in part, by adopting strategies motivated by neurophysiology. However, it is unclear whether deep learning could occur in the real brain. Here, we show that a deep learning algorithm that utilizes multi-compartment neurons might help us to understand how the brain optimizes cost functions. Like neocortical pyramidal neurons, neurons in our model receive sensory information and higher-order feedback in electrotonically segregated compartments. Thanks to this segregation, the neurons in different layers of the network can coordinate synaptic weight updates. As a result, the network can learn to categorize images better than a single layer network. Furthermore, we show that our algorithm takes advantage of multilayer architectures to identify useful representations---the hallmark of deep learning. This work demonstrates that deep learning can be achieved using segregated dendritic compartments, which may help to explain the dendritic morphology of neocortical pyramidal neurons.

研究动机与目标

• 探究深度学习是否可在生物上合理的神经架构中实现。
• 探讨树突 compartment 的电紧张性分离如何支持多层间的协调学习。
• 确定此类模型是否能学习到类似人工深度网络的有用分层表征。
• 弥合人工深度学习与生物神经计算之间的差距。

提出的方法

• 该模型采用受新皮层锥体细胞启发的多分量神经元，为感觉输入和高级反馈分别设置独立的树突 compartment。
• 感觉输入在某一树突 compartment 中处理，而来自更高层的反馈信号则作用于另一个独立的 compartment。
• 通过这些分隔 compartment 的相互作用，协调跨层的突触权重更新，实现类似误差反向传播的学习机制。
• 网络采用一种学习规则，利用前突触与后突触活动在分隔 compartment 中的整合，以优化代价函数。
• 该架构支持分层特征学习，使深层网络提取越来越抽象的表征。

实验结果

研究问题

• RQ1 能否在具有电紧张性分离树突 compartment 的神经架构中实现深度学习？
• RQ2 分隔的树突 compartment 如何实现多层间的协调学习？
• RQ3 此类模型能否学习到与人工深度网络相当的分层表征？
• RQ4 该机制是否能解释新皮层锥体神经元树突的形态特化？

主要发现

• 该模型在图像分类性能上优于单层网络，证明了网络深度的优势。
• 分隔树突 compartment 的使用在生物合理框架下实现了有效的类似反向传播的学习。
• 该网络能够识别出有用的分层表征，这是深度学习的核心特征。
• 结果表明，新皮层锥体神经元的形态结构可能已适应于实现深度学习。