[論文レビュー] Predictive coding in balanced neural networks with noise, chaos and delays

Jonathan Kadmon, Jonathan Timcheck+1 more|arXiv (Cornell University)|Jun 25, 2020

Neural dynamics and brain function被引用数 25

ひとこと要約

本稿は、スパイクニューラルネットワークにおけるバランス予測符号化の理論的に取り扱いやすいモデルを導入し、合成不規則性とは独立してバランスの役割を解き明かし、符号化精度を解析的に導出する。タイトなバランスが、ノイズ、カオス、遅延に対して頑健であることを示し、1/Nのスーパークラスカルな誤差スケーリングを実現する。これは、生物学的ネットワークにおける高精度な予測符号化の根幹をなすものである。

ABSTRACT

Biological neural networks face a formidable task: performing reliable computations in the face of intrinsic stochasticity in individual neurons, imprecisely specified synaptic connectivity, and nonnegligible delays in synaptic transmission. A common approach to combatting such biological heterogeneity involves averaging over large redundant networks of $N$ neurons resulting in coding errors that decrease classically as $1/\\sqrt{N}$. Recent work demonstrated a novel mechanism whereby recurrent spiking networks could efficiently encode dynamic stimuli, achieving a superclassical scaling in which coding errors decrease as $1/N$. This specific mechanism involved two key ideas: predictive coding, and a tight balance, or cancellation between strong feedforward inputs and strong recurrent feedback. However, the theoretical principles governing the efficacy of balanced predictive coding and its robustness to noise, synaptic weight heterogeneity and communication delays remain poorly understood. To discover such principles, we introduce an analytically tractable model of balanced predictive coding, in which the degree of balance and the degree of weight disorder can be dissociated unlike in previous balanced network models, and we develop a mean field theory of coding accuracy. Overall, our work provides and solves a general theoretical framework for dissecting the differential contributions neural noise, synaptic disorder, chaos, synaptic delays, and balance to the fidelity of predictive neural codes, reveals the fundamental role that balance plays in achieving superclassical scaling, and unifies previously disparate models in theoretical neuroscience.

研究の動機と目的

• ノイズ、シナプス不規則性、伝送遅延といった生物学的制約下でも、バランスニューラルネットワークにおける予測符号化がどのように高精度を維持するかを理解すること。
• 再帰的スパイクニューラルネットワークにおける符号化精度を決定する要因としてのバランス、シナプス不規則性、カオス、遅延の役割を分離すること。
• これらの要因が予測符号化性能に与える影響を定量化するための平均場理論を構築すること。
• 予測符号化のスーパークラスカルな誤差スケーリングを実現するバランスの根本的役割を明らかにすることで、異なる神経計算モデルを統合すること。

提案手法

• バランスとシナプス不規則性を分離可能な解析的取り扱い可能なモデルを構築し、正確な理論的分析を可能にする。
• 動的平均場理論を用いて、予測誤差の分散とニューロン活動のフラクチュエーションを計算する。
• 色雑音を伴うラングジュアン型方程式を用いて予測誤差のダイナミクスをモデル化し、タイトなバランスのためのフィードバックゲイン $b \propto N$ を導入する。
• 読み出し出力の定常状態における分散 $\langle\delta\hat{x}^2\rangle \approx \frac{\langle\phi'\rangle^2 g^2}{2\tilde{b}^2 N}$ を導出し、1/Nスケーリングを確認する。
• 遅延フィードバックを解析し、特性方程式 $G(z) = z\tau + 1 + \tilde{b}e^{-zD} = 0$ を用いて安定性および共鳴条件を特定する。
• ウィエナー＝キンチンの定理を適用して全フラクチュエーション分散を計算し、臨界バランス $\tilde{b}_c$ 近辺の共鳴効果を組み込む。

実験結果

リサーチクエスチョン

• RQ1 予測符号化におけるスーパークラスカルな1/N誤差スケーリングを達成するために、バランスの最小限の程度はどの程度か？
• RQ2 ノイズ、シナプス不規則性、伝送遅延は、バランスネットワークにおける予測符号化の忠実度にどのように影響するか？
• RQ3 神経回路における古典的バランス（カオス的変動）とタイトなバランス（予測符号化）の間の相互作用は何か？
• RQ4 フィードバックが遅延する場合、ネットワークはどのように安定性と正確性を維持するか？
• RQ5 多様な生物学的要因によるばらつきに対して、予測符号化の頑健性を統一的理論枠組みで説明できるか？

主な発見

• タイトなバランスによるフィードバックのおかげで、1/Nのスーパークラスカルな誤差スケーリングが達成され、古典的1/\sqrt{N}よりも著しく優れている。
• 予測誤差の定常状態における分散は $\langle\delta\hat{x}^2\rangle \approx \frac{\langle\phi'\rangle^2 g^2}{2\tilde{b}^2 N}$ であり、1/Nスケーリングが確認された。
• 臨界バランス $\tilde{b}_c$ 近辺でフラクチュエーションの共鳴的増幅が発生し、パワースペクトル密度は $\hat{\Delta}(\omega_c) \approx \frac{\sigma^2}{2N(\tilde{b}_c - \tilde{b})^2}$ と近似される。
• 小さな遅延 $d \ll \tau$ では、$\hat{q}(\omega_c) \ll 1$ であるため、共鳴効果は無視できるほど小さく、不安定性が抑制される。
• 理論は予測符号化とバランスニューラルネットワークダイナミクスを統合し、生物学的制約下での高精度な符号化にバランスが不可欠であることを示した。
• モデルは、$\tilde{b} < \tilde{b}_c$ である限り、バランスが維持されていれば、シナプス不規則性に起因するカオスが予測符号化を破壊しないことを明らかにした。