[论文解读] Can Single Neurons Solve MNIST? The Computational Power of Biological Dendritic Trees

Ilenna Jones, Konrad P. Körding|arXiv (Cornell University)|Sep 2, 2020

Neural dynamics and brain function参考文献 45被引用 12

一句话总结

本文提出了一种受生物学启发的神经元模型，其非线性树状树突结构由阈值线性单元组成，表明这种单个神经元能够解决复杂的图像分类任务，如MNIST和CIFAR-10。通过在多个树突分支上重复输入，该模型实现了接近全连接神经网络的性能，揭示了树突非线性和突触重复显著增强了计算能力，超越了传统点神经元模型。

ABSTRACT

Physiological experiments have highlighted how the dendrites of biological neurons can nonlinearly process distributed synaptic inputs. This is in stark contrast to units in artificial neural networks that are generally linear apart from an output nonlinearity. If dendritic trees can be nonlinear, biological neurons may have far more computational power than their artificial counterparts. Here we use a simple model where the dendrite is implemented as a sequence of thresholded linear units. We find that such dendrites can readily solve machine learning problems, such as MNIST or CIFAR-10, and that they benefit from having the same input onto several branches of the dendritic tree. This dendrite model is a special case of sparse network. This work suggests that popular neuron models may severely underestimate the computational power enabled by the biological fact of nonlinear dendrites and multiple synapses per pair of neurons. The next generation of artificial neural networks may significantly benefit from these biologically inspired dendritic architectures.

研究动机与目标

• 探究具有非线性树突树结构的单个生物神经元是否能够执行复杂的机器学习任务，如MNIST分类。
• 评估重复突触输入对树突神经元模型计算能力的影响。
• 将树突结构模型的性能与线性分类器和全连接神经网络（FCNN）进行比较。
• 探索生物上合理的树突结构和突触重复是否能增强人工神经网络中的学习能力。
• 挑战人工神经网络中点神经元模型准确反映真实生物神经元计算能力的假设。

提出的方法

• 该模型采用二叉树结构，其中每个节点为一个阈值线性单元，模拟具有非线性整合功能的树突区室。
• 每个输入被分配到树突树的多个分支上，重复次数由参数k控制。
• 网络在7个高维二值图像分类任务上使用标准深度学习优化方法进行训练，包括MNIST和EMNIST。
• 通过将k-tree模型与线性分类器（下界）和具有相似架构的全连接神经网络（上界）进行比较来评估性能。
• 该模型强制采用稀疏、非权共享结构以反映生物约束，不使用卷积或权重共享。
• 输入被向量化并重新排序以测试对输入序列的敏感性，结果显示随机排序会降低性能。

实验结果

研究问题

• RQ1 具有非线性树突树结构的单个神经元能否解决MNIST图像分类任务？
• RQ2 在多个树突分支上重复突触输入如何影响单个神经元模型的计算性能？
• RQ3 在生物约束和稀疏结构下，神经网络模型在多大程度上能达到与全连接神经网络相当的性能？
• RQ4 与线性点神经元模型相比，采用阈值线性单元的树突树结构是否能提供显著的性能优势？
• RQ5 输入顺序如何影响树突神经元模型的性能？

主要发现

• 当k=32时，k-tree模型在MNIST上的性能几乎与同规模的全连接神经网络（FCNN）完全相同。
• 在FMNIST、EMNIST和USPS任务上，32-tree模型的性能与FCNN相当，尽管其架构高度受限。
• 在所有任务中，性能随k从1增加到32而持续提升，表明重复输入显著增强了计算能力。
• 该模型在所有任务上均优于线性分类器，证明树突非线性显著提升了性能。
• 随机化输入顺序会降低模型性能，表明输入结构和序列对模型有效性具有重要影响。
• 结果表明，生物树突结构和重复突触输入对于增强单神经元计算能力至关重要，挑战了点神经元模型的局限性。