[論文レビュー] Dendritic cortical microcircuits approximate the backpropagation algorithm

João Sacramento, Rui Ponte Costa+2 more|arXiv (Cornell University)|Oct 26, 2018

Neural dynamics and brain function被引用数 93

ひとこと要約

本論文は、誤差信号が頂端樹状突起に符号化され、学習は継続的に行われ、明確な位相を伴わずにバックプロパゲーションを近似する多区画皮質ミクロ回路モデルを提案する。

ABSTRACT

Deep learning has seen remarkable developments over the last years, many of\nthem inspired by neuroscience. However, the main learning mechanism behind\nthese advances - error backpropagation - appears to be at odds with\nneurobiology. Here, we introduce a multilayer neuronal network model with\nsimplified dendritic compartments in which error-driven synaptic plasticity\nadapts the network towards a global desired output. In contrast to previous\nwork our model does not require separate phases and synaptic learning is driven\nby local dendritic prediction errors continuously in time. Such errors\noriginate at apical dendrites and occur due to a mismatch between predictive\ninput from lateral interneurons and activity from actual top-down feedback.\nThrough the use of simple dendritic compartments and different cell-types our\nmodel can represent both error and normal activity within a pyramidal neuron.\nWe demonstrate the learning capabilities of the model in regression and\nclassification tasks, and show analytically that it approximates the error\nbackpropagation algorithm. Moreover, our framework is consistent with recent\nobservations of learning between brain areas and the architecture of cortical\nmicrocircuits. Overall, we introduce a novel view of learning on dendritic\ncortical circuits and on how the brain may solve the long-standing synaptic\ncredit assignment problem.\n

研究の動機と目的

• 深層ネットワークにおけるシナプスクレジット割り当て問題への生物学的に妥当な解法を動機づける。
• 学習のために誤差を符号化する樹状突起区画を備えた多層ネットワークを提案する。
• 連続的な局所プラスチシティが解析的および経験的にバックプロパゲーションを近似することを示す。
• 本モデルが非線形回帰およびMNIST数字分類を実行できることを示す。
• 枠組みを皮質ミクロ回路構造および予測符号理論に関連づける。

提案手法

• 錐体ニューロンを体細胞部、基底部、頂端樹状突起部の3区分模型で用いる。
• 頂端誤差を清浄に符号化するための介在ニューロンを導入する。
• 局所的な樹状突起予測誤差と前シナプス活動に依存するシナプス学習規則を定義する（式6–式10）。
• 教示信号が存在しない場合に頂端部活性が打ち消される自己予測ネットワーク状態を示す。
• 更新が弱いフィードバック極限およびフィードバック整列を介してバックプロパゲーションを近似する方法を示す解析的導出を提供する。
• 連続学習と位相ベース学習なしで、非線形回帰とMNIST分類に対して経験的評価を行う。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当なネットワークにおいて、樹状突起の区画は下向き結合の学習を駆動する予測誤差を符号化できるのか？
• RQ2 多層樹状突起回路における連続的で局所的なシナプス可塑性規則はバックプロパゲーションを近似できるのか？
• RQ3 Lateral SST interneuronsと上位ダウンフィードバックは別個の位相を必要とせず誤差信号伝達と学習にどのように寄与するのか？
• RQ4 このようなネットワークは非線形写像を学習し、MNIST分類のような実世界のタスクを扱えるのか？
• RQ5 バックプロパゲーション風の学習を達成する上で、フィードバック整列とトップダウン重みの対称性の役割は何か？

主な発見

• The model’s apical dendrites encode errors from mismatch between lateral interneuron input and top-down feedback, driving local plasticity to minimize error.
• Analytically, under self-predicting conditions and small feedback strength, bottom-up weight updates converge to backpropagation updates (modulo a scaling factor and weight symmetry or alignment constraints).
• The network learns nonlinear regression tasks with continuous learning and without alternating learning phases, achieving competitive performance.
• In MNIST classification with a four-layer network, the model attains a test error of 1.96%, approaching backprop-based non-convolutional networks.
• The approach supports predictions about error propagation across cortical areas and aligns with observed SST interneuron roles and predictive-coding interpretations.
• The model remains robust to symmetry-breaking between forward and feedback weights via feedback alignment.