[論文レビュー] Dendritic cortical microcircuits approximate the backpropagation algorithm

João Sacramento, Rui Ponte Costa+2 more|Bern Open Repository and Information System (University of Bern)|Oct 26, 2018

Neural dynamics and brain function被引用数 68

ひとこと要約

本研究は、樹状突起の区画と介在ニューロンを含む多層的な皮質のマイクロ回路モデルを提案し、頂端部の局所的予測誤差を用いて下方入力の重みを学習させ、交互フェーズを必要とせずバックプロパゲーションに近似する。

ABSTRACT

Deep learning has seen remarkable developments over the last years, many of them inspired by neuroscience. However, the main learning mechanism behind these advances - error backpropagation - appears to be at odds with neurobiology. Here, we introduce a multilayer neuronal network model with simplified dendritic compartments in which error-driven synaptic plasticity adapts the network towards a global desired output. In contrast to previous work our model does not require separate phases and synaptic learning is driven by local dendritic prediction errors continuously in time. Such errors originate at apical dendrites and occur due to a mismatch between predictive input from lateral interneurons and activity from actual top-down feedback. Through the use of simple dendritic compartments and different cell-types our model can represent both error and normal activity within a pyramidal neuron. We demonstrate the learning capabilities of the model in regression and classification tasks, and show analytically that it approximates the error backpropagation algorithm. Moreover, our framework is consistent with recent observations of learning between brain areas and the architecture of cortical microcircuits. Overall, we introduce a novel view of learning on dendritic cortical circuits and on how the brain may solve the long-standing synaptic credit assignment problem.

研究の動機と目的

• 皮質マイクロ回路における誤差信号駆動学習の生物学的に妥当な機構を動機づけ、形式化する。
• 基底(下向き)および頂端(上向き)入力を持つ三区画錐体ニューロンモデルと、上向き予測を打ち消す補助介在ニューロン集団を導入する。
• 樹状部予測誤差を実装する局所的シナプス可塑性ルールを導出し、自己予測条件下でバックプロパゲーションとの関係を示す。
• 非線形回帰および画像分類（MNIST）タスクでの学習能力を示し、バックプロパゲーションおよび関連する生物学的着想スキームと性能を比較する。

提案手法

• ニューロンを三区画ユニット（体細胞、基底、頂端）としてモデル化し、基底入力を下向き信号、頂端入力を上向き信号とする。
• 頂端樹状突起で上向き入力を打ち消して予測誤差を符号化する介在ニューロン集団（二区画細胞）を導入する。
• dW/dt = η (phi(u) - phi(v)) r の形式のシナプス可塑性ルールを、u/v が区画電位、r が前シナプス活動で表す。さまざまな結合タイプについて定義する。
• 自己予測ネットにおいて、学習がバックプロパゲーションに近似することを解析的に示し、上向き重みは固定（フィードバックアラインメント）か、学習される（逆再構成/ターゲット伝播）。
• 位相ベースの学習を用いず、固定またはゆっくり適応する上向き経路を用いて、非線形回帰およびMNIST分類でオンラインの連続時間学習を実証する。

実験結果

リサーチクエスチョン

• RQ1 頂端樹状突起にエンコードされた樹状予測誤差は、多層ネットワークにおけるバックプロパゲーションと同様の誤差信号駆動学習を支えることができるか。
• RQ2 提案された樹状ミクロ回路がバックプロパゲーションを近似する条件は何か（例：自己予測状態、フィードバックアラインメント、ターゲット伝播）。
• RQ3 このようなネットワークの非線形回帰および画像分類タスクにおける学習性能は、標準のバックプロパゲーションおよび浅いベースラインと比べてどうか。

主な発見

• 頂端樹状突起の予測誤差と介在ニューロン介在による上向き打ち消しを伴う多層ネットワークは、局所的な可塑性ルールを介して下向きシナプスを学習する。
• 解析的には、自己予測条件下で小さなフィードバックがあると、隠れ層の重み更新はバックプロパゲーションに近似する（スケール因子と重み対称性の考慮を除く場合）。
• 本モデルは位相を交互に切り替えることなくオンラインで非線形回帰学習を達成し、前向きと後方の重みの完全な対称性がなくても深い層へ誤差を伝搬することを支持する（フィードバックアラインメント）。
• MNISTでは、4層ネットワークがテスト誤差1.96%を達成し、バックプロパゲーションで訓練された非畳み込みネットワークに近づき、検討された生物学的着想の代替案の中では最良の成績を上回る。
• 樹状突起の誤差信号、SST介在ニューロンの役割、領域間学習に関する実験的観察と整合しており、皮質におけるシナプスのクレジット割り当ての一貫した説明を提供する。