[論文レビュー] Biologically plausible solutions for spiking networks with efficient coding

Veronika Koren, Stefano Panzeri|arXiv (Cornell University)|Oct 13, 2022

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

この論文は、数学的に導出された最適化に基づくフレームワークを通じて、効率的コーディングを達成する生物学的に妥当なスパikingニューラルネットワークモデルを提案する。スパイクを用いた二次損失関数の最小化により、構造的で低ランクの接続性、多様な電流、明確に分離された興奮性・抑制性ダイナミクスを持つ一般化された漏れ積分・発火（LIF）ネットワークが得られ、生物学的制約（Daleの原則、スパイクタイミングの正確性など）を満たしつつ、高精度な信号再構成が可能となる。

ABSTRACT

Understanding how the dynamics of neural networks is shaped by the computations they perform is a fundamental question in neuroscience. Recently, the framework of efficient coding proposed a theory of how spiking neural networks can compute low-dimensional stimulus signals with high efficiency. Efficient spiking networks are based on time-dependent minimization of a loss function related to information coding with spikes. To inform the understanding of the function and dynamics of biological networks in the brain, however, the mathematical models have to be informed by biology and obey the same constraints as biological networks. Currently, spiking network models of efficient coding have been extended to include some features of biological plausibility, such as architectures with excitatory and inhibitory neurons. However, biological realism of efficient coding theories is still limited to simple cases and does not include single neuron and network properties that are known to be key in biological circuits. Here, we revisit the theory of efficient coding with spikes to develop spiking neural networks that are closer to biological circuits. Namely, we find a biologically plausible spiking model realizing efficient coding in the case of a generalized leaky integrate-and-fire network with excitatory and inhibitory units, equipped with fast and slow synaptic currents, local homeostatic currents such as spike-triggered adaptation, hyperpolarization-activated rebound current, heterogeneous firing thresholds and resets, heterogeneous postsynaptic potentials, and structured, low-rank connectivity. We show how the complexity of E-E connectivity matrix shapes network responses.

研究の動機と目的

• 実際の神経系の制約を満たす生物学的に現実的なスパikingニューラルネットワークモデルを構築すること。
• 既存の効率的コーディング理論を抽象的な数学的枠組みから逸脱させ、E-I接続性、多様な電流、シナプスダイナミクスといった重要な生物学的特徴を統合すること。
• 漏れ電流を含む膜電位ダイナミクスの正確な式を最適化原理から導出すること、手動で仮定するのではなく。
• ネットワークのパラメータと計算的役割との間の機能的リンクを確立し、情報処理の観点からダイナミクスを解釈可能にする。
• 複雑なE-E接続性がフィードフォワード駆動以外の応答と、生物学的Up/Down状態に類似した自発的活動状態を可能にすることを示すこと。

提案手法

• 興奮性および抑制性ニューロンのそれぞれに別々の損失関数を用い、E-Iアーキテクチャと機能的多様性を強制する。
• 時間依存的な二次誤差損失の最小化により、膜電位ダイナミクス（漏れ、適応、再発動、シナプス電流など）の正確な解析的表現を導出する。
• 生物学的ばらつきを反映するため、非一様な発火閾値、リセット、効果的シナプス後電位を有する一般化されたLIFモデルを採用する。
• 情報伝送量をスパイクあたり最大化するように、構造的で低ランクの接続性を最適化する。高速シナプスは競争を、低速シナプスは協調を可能にする。
• シンプルな漏れ積分を超えて、入力と出力の間の一般線形変換を許容するフレームワークを提供し、複雑なネットワーク計算を可能にする。
• 理論的導出により、ネットワークパラメータを最小化された損失成分と直接結びつける。これにより、各動的要素の機能的解釈が可能になる。

実験結果

リサーチクエスチョン

• RQ1 Daleの原則や多様なニューロン特性といった生物学的制約を満たすスパキングニューラルネットワークで、どのように効率的コーディングを実装できるか？
• RQ2 高速および低速のシナプス電流が、ネットワーク応答の形作りと効率的情報伝送に果たす役割は何か？
• RQ3 構造的で低ランクのE-E接続性は、フィードフォワード駆動を超えたネットワークダイナミクスにどのように影響を与えるか？
• RQ4 最適化フレームワークにより、外部入力がない状態で生物学的Up/Down状態に類似した自発的活動状態を生成できるか？
• RQ5 ネットワークパラメータは、損失関数の最小化と効率的計算の実現に果たす役割として、どのように機能的に解釈できるか？

主な発見

• 導出されたスパキングネットワークモデルは生物学的に妥当であり、漏れ、適応、再発動電流といった各コンponentsが、損失関数の最適化から正確に導出されている。
• 別々の損失関数を用いることで、Daleの原則が満たされ、各ニューロンが興奮性または抑制性のいずれかに明確に分類される。
• 構造的で低ランクの接続性は最適化プロセスから自然に出現し、冗長性を最小限に抑えつつ効率的な情報伝送を可能にする。
• 複雑なE-E接続性により、フィードフォワード入力によって直接駆動されないニューロンもネットワーク応答に参加でき、分散計算が可能になる。
• 外部刺激がなく、バックグラウンドノイズがある状態でも、ネットワークは自発的にUp状態とDown状態を生成し、生物学的観察と類似する。
• モデルはネットワークパラメータの機能的解釈を提供し、適応、シナプス重みなどの各動的要素がコーディング誤差を最小化する役割を果たすことを明確に結びつける。