[論文レビュー] Deep learning with segregated dendrites

Jordan Guergiuev, Timothy Lillicrap+1 more|arXiv (Cornell University)|Oct 1, 2016

Neural dynamics and brain function参考文献 6被引用数 7

ひとこと要約

本論文は、電気的隔離された dendrite を持つ多 compartment ニューロンを用いた生物学的に妥当な深層学習モデルを提案する。感覚入力とフィードバック信号を別々の dendritic compartment に分離することで、層間におけるシナプス重みの更新を調整し、効果的な誤差逆伝播に類似した学習を可能にし、画像分類性能が向上する。これは、深層学習が新皮質 Pyramidal ニューロンに類似した神経回路構造から生じうることを示している。

ABSTRACT

Deep learning has led to significant advances in artificial intelligence, in part, by adopting strategies motivated by neurophysiology. However, it is unclear whether deep learning could occur in the real brain. Here, we show that a deep learning algorithm that utilizes multi-compartment neurons might help us to understand how the brain optimizes cost functions. Like neocortical pyramidal neurons, neurons in our model receive sensory information and higher-order feedback in electrotonically segregated compartments. Thanks to this segregation, the neurons in different layers of the network can coordinate synaptic weight updates. As a result, the network can learn to categorize images better than a single layer network. Furthermore, we show that our algorithm takes advantage of multilayer architectures to identify useful representations---the hallmark of deep learning. This work demonstrates that deep learning can be achieved using segregated dendritic compartments, which may help to explain the dendritic morphology of neocortical pyramidal neurons.

研究の動機と目的

• 深層学習が生物学的に現実的な神経回路構造で実装可能かどうかを調査すること。
• 電気的隔離された dendritic compartment が、複数の層にまたがる協調的学習をどのように支援するかを探索すること。
• このようなモデルが、人工深層ネットワークと同等の有用な階層的表現を学習できるかどうかを特定すること。
• 人工的深層学習と生物学的神経計算の間のギャップを埋めること。

提案手法

• 新皮質 Pyramidal 細胞を模倣した多 compartment ニューロンを用い、感覚入力と高階層からのフィードバック信号を別々の dendritic compartment に割り当てる。
• 感覚入力は一つの dendritic compartment で処理され、高階層からのフィードバック信号は別々のコンパートメントに到達する。
• これらの分離されたコンパートメントの相互作用を通じて、層間における合成的重みの更新が調整され、誤差逆伝播に類似した学習が可能になる。
• コスト関数を最適化するために、事前・事後シナプス活動のコンパートメント分離統合を活用する学習ルールを採用する。
• 深層の層が、徐々に抽象化された表現を抽出できる階層的特徴学習を可能にするアーキテクチャである。

実験結果

リサーチクエスチョン

• RQ1 電気的に隔離された dendritic compartment を持つ神経回路構造を用いて、深層学習を達成できるか？
• RQ2 分離された dendritic compartment は、複数の層にまたがる協調的学習をどのように可能にするか？
• RQ3 このようなモデルは、人工的深層ネットワークと同等の階層的表現を学習できるか？
• RQ4 このメカニズムは、新皮質 Pyramidal ニューロンの dendrite の形態的特化を説明できるか？

主な発見

• 単一層ネットワークよりも優れた画像分類性能を示し、深さの利点が確認された。
• 分離された dendritic compartment の使用により、生物学的に妥当なフレームワーク内で効果的な誤差逆伝播に類似した学習が実現された。
• ネットワークは有用な階層的表現を特定し、深層学習の核となる特徴を示した。
• 結果から、新皮質 Pyramidal ニューロンの形態的構造が深層学習に適応している可能性が示唆された。