[論文レビュー] Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons

Paul Haider, Benjamin Ellenberger+4 more|arXiv (Cornell University)|Oct 27, 2021

Neural dynamics and brain function被引用数 7

ひとこと要約

本論文は、一般化された位置と運動量に依存する分離可能なエネルギー関数から神経細胞およびシナプスのダイナミクスを導出することで、将来の神経出力の動的予測を活用し、任意に遅い神経細胞ネットワークにおいて、任意に高速な推論と段階フリーの連続的学習を可能にする生物学的に妥当な学習フレームワーク、Latent Equilibrium (LE) を導入する。このフレームワークは、完全結合型および畳み込み型アーキテクチャを用いて、MNIST、HIGGS、CIFAR-10 においても、極めて短い刺激提示時間や遅い膜時定数であっても、競争力のある性能を達成している。

ABSTRACT

The response time of physical computational elements is finite, and neurons are no exception. In hierarchical models of cortical networks each layer thus introduces a response lag. This inherent property of physical dynamical systems results in delayed processing of stimuli and causes a timing mismatch between network output and instructive signals, thus afflicting not only inference, but also learning. We introduce Latent Equilibrium, a new framework for inference and learning in networks of slow components which avoids these issues by harnessing the ability of biological neurons to phase-advance their output with respect to their membrane potential. This principle enables quasi-instantaneous inference independent of network depth and avoids the need for phased plasticity or computationally expensive network relaxation phases. We jointly derive disentangled neuron and synapse dynamics from a prospective energy function that depends on a network's generalized position and momentum. The resulting model can be interpreted as a biologically plausible approximation of error backpropagation in deep cortical networks with continuous-time, leaky neuronal dynamics and continuously active, local plasticity. We demonstrate successful learning of standard benchmark datasets, achieving competitive performance using both fully-connected and convolutional architectures, and show how our principle can be applied to detailed models of cortical microcircuitry. Furthermore, we study the robustness of our model to spatio-temporal substrate imperfections to demonstrate its feasibility for physical realization, be it in vivo or in silico.

研究の動機と目的

• 階層的ニューラルネットワークにおける応答遅延という根本的問題に取り組み、推論の遅れや学習中のタイミング不一致を解消すること。
• 生物学的に妥当なバックプロパゲーションの実装において、緩和段階や段階的可塑性に依存するのを克服すること。
• 任意に遅い神経細胞を有するネットワークにおいて、連続的で局所的かつ非同期的な学習を可能にするために、将来の状態を予測する出力メカニズムを導入すること。
• 連続時間の漏れ積分器型神経細胞ダイナミクスにおいて、推論と学習の両方を統一的に扱える理論的枠組みを提供すること。
• 空間的・時間的不確実性を伴う詳細な皮質マイクロサーキットモデルおよび物理的基板において、実現可能性を示すこと。

提案手法

• 一般化された位置と運動量に依存する統合的将来指向エネルギー関数から神経細胞およびシナプスのダイナミクスを導出し、動的分離を可能にする。
• 神経細胞が現在の入力に基づいて将来の状態を予測する「将来指向」出力メカニズムを導入し、緩和段階を必要としない。
• 神経細胞のダイナミクスは、任意に遅い膜時定数を持つ連続時間の漏れ積分器としてモデル化される。
• シナプス可塑性は、連続的かつ局所的であり、別々の学習段階を必要としない。
• エネルギー関数は、神経細胞とシナプスのダイナミクスを分離するように設計されており、学習中の干渉的依存関係を排除する。
• ソフトウェアおよびハードウェア両方で実装され、空間的・時間的基板の不確実性下でも耐性をテストした。

実験結果

リサーチクエスチョン

• RQ1 緩和段階や段階的可塑性を必要とせず、遅い神経細胞から構成される深層ネットワークにおいて、近似的に即時の推論を達成できる学習フレームワークは存在するか？
• RQ2 漏れ積分器型神経細胞ネットワークにおいて、連続的で局所的かつ非同期的な可塑性を持つ生物学的に妥当なバックプロパゲーションは、どのように実装できるか？
• RQ3 刺激提示時間が神経細胞の膜時定数よりもはるかに短い場合、学習性能はどの程度維持されるか？
• RQ4 提案されたフレームワークは、詳細な皮質マイクロサーキットモデルに適用可能であり、リアルタイムで段階フリーの学習を可能にするか？
• RQ5 神経モルフィックまたは生体内実装におけるノイズやタイミングジッターといった物理的基板の制限に対して、このフレームワークはどの程度耐性があるか？

主な発見

• 完全結合ネットワークを用いて、MNIST では 1.98±0.11%、HIGGS では 27.6±0.4% のテスト誤差を達成し、人工ニューラルネットワークにおける標準的なバックプロパゲーションと同等の性能を示した。
• フィードバックアライメントを用いることで、MNIST で 2.6±0.1% の誤差にまで低下させ、非微分可能な重み更新に対しても適合可能であることを示した。
• 膜時定数が異なる状況下でも性能が安定しており、極めて遅いダイナミクス（例：τm = 10 ms）であっても神経細胞の応答速度に依存しないことが示された。
• 畳み込みアーキテクチャ（LeNet-5）を用いることで、MNIST で 1.1±0.1% の誤差、CIFAR-10 で 38.0±1.3% の誤差を達成し、標準的なバックプロパゲーションと同等の性能を示した。
• 刺激提示時間がたった 1 ms（0.05τm）であっても、性能が維持され、従来のモデルがその条件下で失敗するのに対し、優れた性能を示した。
• 耐性テストにより、空間的・時間的不確実性を伴う物理的基板でも実現可能であることが確認され、インシリコおよびインビボ実装の可能性を支持した。