[論文レビュー] Dendritic error backpropagation in deep cortical microcircuits

João Sacramento, Rui Ponte Costa+2 more|arXiv (Cornell University)|Dec 30, 2017

Neural dynamics and brain function参考文献 47被引用数 35

ひとこと要約

本稿では、頂蓋微回路における dendritic な誤差逆伝播を活用することで、深層学習の生物学的に妥当なメカニズムを提案する。pyramidal 細胞は、上行的フィードバックと側方抑制の不一致に基づき、 apical dendrite で予測誤差を計算し、 basal dendrite でのシナプス可塑性を駆動する。このモデルは深層ネットワークにおける逆誤差伝播を近似し、MNIST 分類および再構成タスクで性能を示す。拡張により注意に類似したノイズ除去とプロトタイプ生成が可能となる。

ABSTRACT

Animal behaviour depends on learning to associate sensory stimuli with the desired motor command. Understanding how the brain orchestrates the necessary synaptic modifications across different brain areas has remained a longstanding puzzle. Here, we introduce a multi-area neuronal network model in which synaptic plasticity continuously adapts the network towards a global desired output. In this model synaptic learning is driven by a local dendritic prediction error that arises from a failure to predict the top-down input given the bottom-up activities. Such errors occur at apical dendrites of pyramidal neurons where both long-range excitatory feedback and local inhibitory predictions are integrated. When local inhibition fails to match excitatory feedback an error occurs which triggers plasticity at bottom-up synapses at basal dendrites of the same pyramidal neurons. We demonstrate the learning capabilities of the model in a number of tasks and show that it approximates the classical error backpropagation algorithm. Finally, complementing this cortical circuit with a disinhibitory mechanism enables attention-like stimulus denoising and generation. Our framework makes several experimental predictions on the function of dendritic integration and cortical microcircuits, is consistent with recent observations of cross-area learning, and suggests a biological implementation of deep learning.

研究の動機と目的

• 脳における長年の信用配分問題に取り組む。これは、望ましい行動的結果を達成するための、複数の処理段階にわたるシナプス修飾の調整を必要とする。
• 特に dendritic コパートメントと特定のインターニューロン型を含む皮質微回路構造内での動作を想定した、古典的な逆誤差伝播の生物学的に妥当な代替案を提案する。
• 上位からのフィードバックと側方抑制の不一致から生じる局所的な dendritic 予測誤差が、深層多領域ニューラルネットワークにおける有効な学習を駆動できることを示す。
• 抑制解除機構を導入することで、学習済みプロトタイプの再帰的再現と入力のノイズ除去を可能とし、注意機能に類似した機能を実現する。

提案手法

• モデルは、 somatic、 basal、 apical の各コンパートメントを有する pyramidal 細胞を用い、 apical dendrite が下流領域からの上行的フィードバックと、サマトスティアチンを発現する（SST）インターニューロンからの側方抑制を統合する。
• 予測誤差は、 apical dendritic ポテンシャルと予測された上行的入力との乖離として符号化され、誤差信号が soma に伝搬され、 basal dendritic synapse での可塑性を誘発する。
• シナプス可塑性は、誤差信号から導出された局所的学習則に従い、学習の安定化のため、誤差のローパスフィルタリング版に基づく重み更新が行われる。
• ネットワークは二段階のダイナミクスで学習される：まず、下流からの活性化が順方向に計算され、次に、上流からのフィードバックが逆順に適用され、インターニューロンおよび pyramidal 細胞のポテンシャルが更新される。
• VIP インターニューロンを含む抑制解除機構が導入され、再帰的再現中に側方抑制を特定的に抑制することで、学習済みプロトタイプの再帰的再現と入力のノイズ除去が可能となる。
• モデルは、深層ネットワークの再帰的ダイナミクスを低コストで近似する離散時間の二段階更新則を用いて、MNIST 分類および再構成タスクで検証される。

実験結果

リサーチクエスチョン

• RQ1 apical コンパートメントにおける dendritic 予測誤差は、逆誤差伝播におけるグローバル誤差信号の生物学的に妥当な代替として機能できるか？
• RQ2 局所的なシナプス可塑性は、深層ネットワークにおける逆誤差伝播を近似する形で、dendritic な誤差信号によってどのように駆動されるか？
• RQ3 ネットワークは、可塑性を持つインターニューロン接続を通じて上行的フィードバックを予測・キャンセルできるよう学習できるか。これにより、自己一貫性のあるネットワーク動作が可能になるか？
• RQ4 抑制解除機構の追加により、ネットワークは入力のノイズ除去と学習済みスティムルのプロトタイプ生成が可能になるか？

主な発見

• モデルは、標準的な深層学習ベンチマークと同等のテスト誤差率を達成し、MNIST 手書き数字の分類を効果的に学習する。これは、複数の皮質領域にわたる信用配分の有効性を示している。
• 低 dendritic カップリング条件下でも、グローバル誤差逆伝播アルゴリズムを近似する局所的な dendritic 予測誤差信号によって、ネットワークは安定した学習を達成する。
• 側方抑制を抑制するモードを活用することで、ノイズのある入力からのクリアな画像の再構成が可能となり、効果的なスティムルのノイズ除去が達成される。
• 上位から下位へのトップダウン走査と抑制解除モードを用いることで、学習済み数字クラスのプロトタイプ表現を生成でき、整合性のある画像再構成が得られる。
• モデルの性能はノイズおよび初期化に強く、可塑性誘導信号のローパスフィルタリングによって学習が安定化される。
• このフレームワークは、実験的に検証可能な予測を提示する。例えば、SST および VIP インターニューロンが学習中の予測誤差の符号化と調整に果たす役割。