[论文解读] Biologically feasible deep learning with segregated dendrites

Jordan Guergiuev, Timothy Lillicrap+1 more|arXiv (Cornell University)|Oct 1, 2016

Advanced Memory and Neural Computing参考文献 37被引用 5

一句话总结

本文提出一种生物上可行的深度学习模型，采用具有电紧张性隔离树突的多 compartment 神经元，实现跨层的协调突触权重更新。该模型通过学习分层表征实现优越的图像分类性能，表明深度学习可源自类似新皮层锥体神经元的神经架构。

ABSTRACT

Deep learning has led to significant advances in artificial intelligence, in part, by adopting strategies motivated by neurophysiology. However, it is unclear whether deep learning could occur in the real brain. Here, we show that a deep learning algorithm that utilizes multi-compartment neurons might help us to understand how the brain optimizes cost functions. Like neocortical pyramidal neurons, neurons in our model receive sensory information and higher-order feedback in electrotonically segregated compartments. Thanks to this segregation, the neurons in different layers of the network can coordinate synaptic weight updates. As a result, the network can learn to categorize images better than a single layer network. Furthermore, we show that our algorithm takes advantage of multilayer architectures to identify useful representations---the hallmark of deep learning. This work demonstrates that deep learning can be achieved using segregated dendritic compartments, which may help to explain the dendritic morphology of neocortical pyramidal neurons.

研究动机与目标

• 探究大脑是否可利用生物上真实的神经机制实现深度学习。
• 探讨树突 compartment 的电紧张性隔离如何实现神经网络中分层的突触可塑性。
• 确定此类模型是否能学习到类似于人工深度学习的分层表征。
• 证明具有隔离树突的多层架构可有效优化代价函数。

提出的方法

• 该模型采用受新皮层锥体神经元启发的多 compartment 神经元，为感觉输入和高阶反馈分别设置独立的树突 compartment。
• 通过分层整合突触前与突触后活动，实现跨层的突触权重更新协调。
• 网络采用一种学习规则，利用树突 compartment 的电紧张隔离，实现局部、分层特定的可塑性。
• 该架构支持分层特征提取，深层网络学习更抽象的表征。
• 该模型在图像分类任务上进行训练，以评估性能和表征质量。

实验结果

研究问题

• RQ1 能否使用具有电紧张性隔离树突的神经元实现深度学习？
• RQ2 隔离的树突 compartment 如何实现网络分层间的协调学习？
• RQ3 该模型是否能学习到类似人工深度学习的有用分层表征？
• RQ4 这种生物上可行的机制是否能在图像分类中优于单层网络？

主要发现

• 该模型在图像分类性能上优于单层网络，证明了深度的优势。
• 使用隔离的树突 compartment 有效实现了跨层的突触权重更新协调。
• 网络发展出分层表征，深层网络捕捉到更抽象的特征。
• 该算法通过利用多层架构实现性能提升，与深度学习的标志性特征一致。