[論文レビュー] Single-phase deep learning in cortico-cortical networks

Will Greedy, Heng Wei Zhu+3 more|arXiv (Cornell University)|Jun 23, 2022

Neural dynamics and brain function被引用数 24

ひとこと要約

BurstCCNは、バースティング、STP、樹状突起を標的とした介在ニューロンを用いて、深部皮質ネットワークにおける単一フェーズの、バックプロパゲーションに似たクレジット割り当てを実現し、MNISTとCIFAR-10の学習を可能にする。

ABSTRACT

The error-backpropagation (backprop) algorithm remains the most common solution to the credit assignment problem in artificial neural networks. In neuroscience, it is unclear whether the brain could adopt a similar strategy to correctly modify its synapses. Recent models have attempted to bridge this gap while being consistent with a range of experimental observations. However, these models are either unable to effectively backpropagate error signals across multiple layers or require a multi-phase learning process, neither of which are reminiscent of learning in the brain. Here, we introduce a new model, Bursting Cortico-Cortical Networks (BurstCCN), which solves these issues by integrating known properties of cortical networks namely bursting activity, short-term plasticity (STP) and dendrite-targeting interneurons. BurstCCN relies on burst multiplexing via connection-type-specific STP to propagate backprop-like error signals within deep cortical networks. These error signals are encoded at distal dendrites and induce burst-dependent plasticity as a result of excitatory-inhibitory top-down inputs. First, we demonstrate that our model can effectively backpropagate errors through multiple layers using a single-phase learning process. Next, we show both empirically and analytically that learning in our model approximates backprop-derived gradients. Finally, we demonstrate that our model is capable of learning complex image classification tasks (MNIST and CIFAR-10). Overall, our results suggest that cortical features across sub-cellular, cellular, microcircuit and systems levels jointly underlie single-phase efficient deep learning in the brain.

研究の動機と目的

• 多層ネットワークにおけるクレジット割り当ての生物学的に妥当な解法を動機づける。
• バースティング、短期可塑性、および樹状突起を標的とする介在ニューロンを用いて誤差信号を伝播する BurstCCN を提案する。
• 単一フェーズ学習の実証と、バックプロパゲーション勾配との一致を示す分析。
• さまざまなアーキテクチャ設定で深層画像分類タスク（MNISTおよび CIFAR-10）の学習を示す。

提案手法

• 誤差信号を遠位樹状突起に符号化し、バースト依存性可塑性を誘発する BurstCCN を導入する。
• STD/STF結合を介して推論信号（レート）と誤差信号（バースト）を分離する Burst Ensemble Multiplexing を用いる。
• 背面信号を伝播し頂上部ポテンシャルを沈黙させるために、Q (STD) および Y (STF) フィードバック経路を実装する。
• レートベース、連続時間、スパイキング実装を提供して単一フェーズ学習を実証する。
• 弱いフィードバックと対称性条件の下で、BurstCCN の更新がバックプロパゲーション勾配に近似する解析的近似を示す。
• 対称フィードバックとランダムフィードバックを含むさまざまなフィードバック体制でMNISTとCIFAR-10を評価する。

実験結果

リサーチクエスチョン

• RQ1 BurstCCN は単一の学習フェーズで複数の層を越えて誤差信号をバックプロパゲートできるか？
• RQ2 BurstCCN の学習ダイナミクスはバックプロパゲーション由来の勾配に近づくか？
• RQ3 生物学的に妥当なフィードバックを用いて、BurstCCN は深層画像分類タスク（MNIST、CIFAR-10）を学習できるか？
• RQ4 誤信号伝達と学習安定性の達成における Q および Y フィードバックの役割は何か？

主な発見

• BurstCCN は単一学習フェーズで学習可能で、単一フェーズ条件下で XOR に対して Burstprop を上回る。
• 解析的にも経験的にも、フィードバックが弱く Q-Y 対称性がある場合に BurstCCN の更新はバックプロパゲーション勾配に近似する。
• 深いネットワークを用いた MNIST では、BurstCCN（Q-Y 対称）が 1.84% のテスト誤差を達成し、Burstprop に相当、深いネットワークでは EDN よりも優れる。
• CIFAR-10 では、対称フィードバックを用いた BurstCCN は 22.92% のテスト誤差を達成し、対称 ANN の性能に近く、ランダムフィードバック構成よりも優れる。
• Q フィードバック学習規則は頂上部ポテンシャルを沈黙させ、単一フェーズ学習を可能にし、さまざまな条件下でバックプロパ/フィードバックアライメントと整合させる。
• BurstCCN はより深いネットワークや動的な入力–出力シナリオにおいてもバックプロップのような学習が可能である。