[論文レビュー] Biologically feasible deep learning with segregated dendrites

Jordan Guergiuev, Timothy Lillicrap+1 more|arXiv (Cornell University)|Oct 1, 2016

Advanced Memory and Neural Computing参考文献 37被引用数 5

ひとこと要約

本論文は、電気的隔離された dendrite を持つ多 compartment ニューロンを用いた生物学的に妥当な深層学習モデルを提案している。このモデルは、層間で協調的なシナプス重みの更新を可能にし、階層的表現を学習することで、優れた画像分類性能を達成する。深層学習が新皮質 Pyramidal ニューロンに類似した神経回路構造から生じうることを示している。

ABSTRACT

Deep learning has led to significant advances in artificial intelligence, in part, by adopting strategies motivated by neurophysiology. However, it is unclear whether deep learning could occur in the real brain. Here, we show that a deep learning algorithm that utilizes multi-compartment neurons might help us to understand how the brain optimizes cost functions. Like neocortical pyramidal neurons, neurons in our model receive sensory information and higher-order feedback in electrotonically segregated compartments. Thanks to this segregation, the neurons in different layers of the network can coordinate synaptic weight updates. As a result, the network can learn to categorize images better than a single layer network. Furthermore, we show that our algorithm takes advantage of multilayer architectures to identify useful representations---the hallmark of deep learning. This work demonstrates that deep learning can be achieved using segregated dendritic compartments, which may help to explain the dendritic morphology of neocortical pyramidal neurons.

研究の動機と目的

• 脳内で生物学的に現実的な神経メカニズムを用いて深層学習が可能かどうかを調査すること。
• 電気的隔離された dendritic コンパートメントが、ニューラルネットワークにおける層間のシナプス可塑性をどのように可能にするかを検討すること。
• このようなモデルが、人工的深層学習に類似した階層的表現を学習できるかどうかを特定すること。
• 分離された dendrite を持つ多層アーキテクチャが、コスト関数を効果的に最適化できることを示すこと。

提案手法

• モデルは新皮質 Pyramidal ニューロンを模倣した多 compartment ニューロンを用い、感覚入力と高階層フィードバックのための別個の dendritic コンパートメントを備えている。
• 事前・事後の活動のコンパートメント内統合を通じて、層間で協調的なシナプス重みの更新が実現されている。
• モデルは、dendritic コンパートメントの電気的隔離を活用して、局所的かつ層特異的な可塑性を可能にする学習ルールを採用している。
• アーキテクチャにより階層的特徴抽出が可能であり、より深い層ではより抽象的な表現が学習される。
• 性能と表現品質の評価を目的として、画像分類タスクでモデルを訓練している。

実験結果

リサーチクエスチョン

• RQ1 電気的に分離された dendrite を持つニューロンを用いて、深層学習を達成できるか？
• RQ2 分離された dendritic コンパートメントは、ネットワークの層間で協調的な学習をどのように可能にするか？
• RQ3 このモデルは、人工的深層学習と同様に有用な階層的表現を学習するか？
• RQ4 この生物学的に妥当なメカニズムは、単層ネットワークを上回る画像分類性能を達成できるか？

主な発見

• モデルは単層ネットワークよりも優れた画像分類性能を示し、深さの利点を実証した。
• 分離された dendritic コンパートメントの使用により、層間でのシナプス重みの更新が効果的に調整された。
• ネットワークは階層的表現を発達させ、より深い層ではより抽象的な特徴を捉えるようになった。
• 多層アーキテクチャを活用することで、深層学習の特徴に一致する性能向上が達成された。