[論文レビュー] Towards deep learning with segregated dendrites

Jordan Guergiuev, Timothy Lillicrap+1 more|arXiv (Cornell University)|Oct 1, 2016

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

この論文は、分離された dendrites を持つ多 compartment ニューロンを用いて、バックプロパゲーションを用いずに信用配分問題を解決する生物学的に妥当な深層学習アルゴリズムを提案する。感覚的入力とフィードバック信号を別々の dendritic コンパートメントに分離することで、局所的なシナプス可塑性を介して階層的表現が学習可能となり、単層ネットワークに比べて優れた画像分類性能を達成する。

ABSTRACT

Deep learning has led to significant advances in artificial intelligence, in part, by adopting strategies motivated by neurophysiology. However, it is unclear whether deep learning could occur in the real brain. Here, we show that a deep learning algorithm that utilizes multi-compartment neurons might help us to understand how the brain optimizes cost functions. Like neocortical pyramidal neurons, neurons in our model receive sensory information and higher-order feedback in electrotonically segregated compartments. Thanks to this segregation, the neurons in different layers of the network can coordinate synaptic weight updates. As a result, the network can learn to categorize images better than a single layer network. Furthermore, we show that our algorithm takes advantage of multilayer architectures to identify useful representations---the hallmark of deep learning. This work demonstrates that deep learning can be achieved using segregated dendritic compartments, which may help to explain the dendritic morphology of neocortical pyramidal neurons.

研究の動機と目的

• 生物学的ニューラルネットワークにおける信用配分の長年の課題に取り組むこと、特に初期層のシナプス変化が下流の接続に依存することを目的とする。
• 特にネオコルチカル Pyramidal ニューロンの分離された基底部およびapical dendrites の形態に合致した神経生理学的知見に適合する学習アルゴリズムを開発すること。
• 多 compartment ニューロンにおける局所的シナプス可塑性ルールから、深層学習、特に階層的表現学習がどのように生じるかを示すこと。
• 非局所的な重み伝搬や対称的フィードバックを回避する生物学的に妥当な脳内の深層学習のメカニズムを提供すること。
• このようなモデルが画像分類タスクにおいて単層ネットワークを上回ることを示し、その機能的有効性を検証すること。

提案手法

• 感覚的入力は基底部 dendrites を介して受信され、フィードバック信号は apical dendrites を介して受信される。これは Pyramidal ニューロンの解剖学的構造を模倣する。
• 基底部と apical dendrites に対して別々の学習ルールを採用する：基底部 dendrites は、前後接続活動に基づく局所的でヘブ的類似の可塑性ルールを用いる。
• Apical dendrites は、上位層からのフィードバック誤差信号を受信し、非局所的だが生物学的に妥当なメカニズムによって基底部 dendrites の可塑性を調整する。
• 学習ダイナミクスの安定化と収束を確保するため、誤差信号に平均発火率に基づくスケーリング要因を導入する。
• dendritic 統合の生体物理的性質をシミュレートするために、漏れ積算放電モデルを用い、コンパートメント化された電導（gB、gA、gD、gL）を導入する。
• 平均発火電位を計算するために、時間的平均化ウィンドウ（Δt ≥ 50 ms）を適用し、期待される PSP が生物学的に現実的な条件下で平均前シナプス発火率に近似することを保証する。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションや重み伝搬を用いずに、生物学的に現実的なニューラルネットワークで深層学習が成立するか？
• RQ2 Pyramidal ニューロンにおける分離された dendritic コンパートメントが、局所的可塑性ルールによって階層的表現学習を可能にするか？
• RQ3 提案されたモデルが画像分類タスクにおいて単層ネットワークを上回る性能を示すか？
• RQ4 上位層からのフィードバック信号が、非局所的な重み情報なしに、下位層の dendrites の可塑性にどのように影響を与えるか？
• RQ5 生物学的に妥当な時間定数および発火率のもとで、学習ルールは頑健か？

主な発見

• モデルは多層アーキテクチャにおいて階層的表現を効果的に学習でき、単層ネットワークに比べて優れた画像分類性能を達成した。
• 性能向上は、層を跨いで次第に抽象化された表現を同定できる能力に起因し、これは深層学習の特徴である。
• 平均化ウィンドウ Δt が十分に長い場合、期待される発火電位（PSP）は平均前シナプス発火率に非常に近似する。これは学習ダイナミクスの安定性を裏付ける。
• モデルは生物学的に妥当なパrameter で動作する：τL = 10 ms、τs = 3 ms、平均発火率 ≈ 20 Hz の条件下で、近似誤差は無視できるほど小さい（≈0.001 ms）ため、簡略化の妥当性 E[X][PSP] ≈ λ̄ が確認された。
• 別々の dendritic コンパートメントの使用により、基底部 dendrites における局所的シナプス可塑性が実現されるとともに、apical dendrite のフィードバックにより効果的な誤差逆伝搬が可能となり、重み伝搬を回避して信用配分問題が解決された。
• モデルは、特に Pyramidal ニューロンにおける入力とフィードバックの分離に合致した神経解剖学的・生理学的知見に従って、深層学習が実現可能であることを示した。