[論文レビュー] Can Single Neurons Solve MNIST? The Computational Power of Biological Dendritic Trees

Ilenna Jones, Konrad P. Körding|arXiv (Cornell University)|Sep 2, 2020

Neural dynamics and brain function参考文献 45被引用数 12

ひとこと要約

本論文は、しきい値付き線形ユニットで構成される非線形のデンドリティックツリーを持つ生物学的にインspiredなニューロンモデルを提案し、このような単一ニューロンがMNIST や CIFAR-10 といった複雑な画像分類タスクを解けることを示している。複数のデンドリティックブランチにわたる入力の繰り返しにより、モデルは完全結合ニューラルネットワークに近い性能を達成し、デンドリティック非線形性とシナプスの繰り返しが、従来のポイントニューロンモデルをはるかに超える計算能力を向上させることを明らかにした。

ABSTRACT

Physiological experiments have highlighted how the dendrites of biological neurons can nonlinearly process distributed synaptic inputs. This is in stark contrast to units in artificial neural networks that are generally linear apart from an output nonlinearity. If dendritic trees can be nonlinear, biological neurons may have far more computational power than their artificial counterparts. Here we use a simple model where the dendrite is implemented as a sequence of thresholded linear units. We find that such dendrites can readily solve machine learning problems, such as MNIST or CIFAR-10, and that they benefit from having the same input onto several branches of the dendritic tree. This dendrite model is a special case of sparse network. This work suggests that popular neuron models may severely underestimate the computational power enabled by the biological fact of nonlinear dendrites and multiple synapses per pair of neurons. The next generation of artificial neural networks may significantly benefit from these biologically inspired dendritic architectures.

研究の動機と目的

• 単一生物学的ニューロンが非線形デンドリティックツリーを備えることで、MNIST分類のような複雑な機械学習タスクを実行できるかどうかを調査すること。
• 繰り返しシナプス入力がデンドリティックニューロンモデルの計算能力に与える影響を評価すること。
• デンドリティック構造を持つモデルの性能を線形分類器と完全結合ニューラルネットワーク（FCNN）と比較すること。
• 生物学的に現実的なデンドリティック構造とシナプスの繰り返しによって、人工ニューラルネットワークにおける学習がどのように向上するかを調査すること。
• 人工ニューラルネットワークにおけるポイントニューロンモデルが、実際の生物学的ニューロンの計算能力を正確に反映しているという仮定に疑問を呈すること。

提案手法

• 各ノードがしきい値付き線形ユニットである二分木構造を用い、非線形統合を模倣するデンドリティックコンパートメントをシミュレートする。
• 各入力がデンドリティックツリーの複数のブランチに分散され、繰り返し回数はパラメータkで制御される。
• MNIST や EMNIST を含む7つの高次元バイナリ画像分類タスクで、標準的なディープラーニング最適化手法を用いてネットワークを訓練する。
• kツリー・モデルの性能を、類似したアーキテクチャを持つ線形分類器（下限）と完全結合ニューラルネットワーク（上限）と比較して評価する。
• 生物学的制約を反映するために、スパースで重み共有のない構造を強制する。畳み込みや重み共有は一切使用しない。
• 入力をベクトル化し、順序を変更することで、入力シーケンスへの感受性をテストする。ランダムな順序にすると性能が低下することが示された。

実験結果

リサーチクエスチョン

• RQ1 非線形デンドリティックツリー構造を備えた単一ニューロンは、MNIST画像分類タスクを解けるか？
• RQ2 複数のデンドリティックブランチにわたるシナプス入力の繰り返しが、単一ニューロンモデルの計算性能にどのように影響するか？
• RQ3 生物学的に制約を加えたスパースなニューラルネットワークモデルは、完全結合ニューラルネットワークとどの程度同等の性能を達成できるか？
• RQ4 しきい値付き線形ユニットを備えたデンドリティックツリー構造は、線形ポイントニューロンモデルに比べて顕著な性能優位性を示すか？
• RQ5 入力の順序は、デンドリティックニューロンモデルの性能にどのように影響するか？

主な発見

• k=32 のkツリー・モデルは、同等の完全結合ニューラルネットワーク（FCNN）とほぼ同一の性能をMNISTで達成した。
• FMNIST、EMNIST、USPS タスクにおいても、32ツリー・モデルはFCNNと同等の性能を示したが、そのアーキテクチャは極めて制約が厳しいものであった。
• すべてのタスクにおいて、k=1 から k=32 に至るまで、性能が一貫して向上した。これは、繰り返し入力が計算能力を向上させることを示している。
• モデルはすべてのタスクで線形分類器を上回った。これは、デンドリティック非線形性が性能向上に顕著に寄与していることを示している。
• 入力順序をランダム化するとモデルの性能が低下した。これは、モデルの効果的さにとって入力の構造と順序が重要であることを示している。
• 結果から、生物学的デンドリティック構造と繰り返しシナプス入力が、単一ニューロンの計算能力を向上させる上で極めて重要であることが示唆され、ポイントニューロンモデルの限界に疑問を呈するものである。