[論文レビュー] Dynamics and computation in mixed spiking networks containing neurons with negative dissipation.

Paul Manz, Sven Goedeke+1 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Memory and Neural Computing被引用数 1

ひとこと要約

本稿では、漏れ型（LIF）およびアンチ漏れ型（XIF）ニューロンを併用する混合スパイクニューラルネットワークを調査し、単一のXIFニューロンが、XIFニューロン1つあたり約1つの正のリャプノフ指数を生成することで、カオスを誘発することを示している。平均場理論および共変リャプノフベクトルを用いて、このようなネットワークがバランスの取れた不規則なスパイク状態を支持し、スパイクベースの計算に適した調整可能なリザボアとして機能することを明らかにした。

ABSTRACT

Networks in the brain consist of different types of neurons. Here we investigate the influence of neuron diversity on the dynamics, phase space structure and computational capabilities of spiking neural networks. We find that already a single neuron of a different type can qualitatively change the network dynamics and that mixed networks may combine the computational capabilities of ones with a single neuron type. We study inhibitory networks of concave leaky (LIF) and convex anti-leaky (XIF) integrate-and-fire neurons that generalize irregularly spiking non-chaotic LIF neuron networks. Endowed with simple conductance-based synapses for XIF neurons, our networks can generate a balanced state of irregular asynchronous spiking as well. We determine the voltage probability distributions and self-consistent firing rates assuming Poisson input with finite size spike impacts. Further, we compute the full spectrum of Lyapunov exponents (LEs) and the covariant Lyapunov vectors (CLVs) specifying the corresponding perturbation directions. We find that there is approximately one positive LE for each XIF neuron. This indicates in particular that a single XIF neuron renders the network dynamics chaotic. A simple mean-field approach, which can be justified by properties of the CLVs, explains the finding. As an application, we propose a spike-based computing scheme where our networks serve as computational reservoirs and their different stability properties yield different computational capabilities.

研究の動機と目的

• スパイクニューラルネットワークにおけるニューロンの多様性、特にアンチ漏れ型（XIF）ニューロンの導入がネットワークダイナミクスおよび計算的機能に与える影響を理解すること。
• 混合ネットワークにおけるカオス的ダイナミクスの出現を調査し、XIFニューロンが正のリャプノフ指数を誘発する役割を特定すること。
• 有限サイズのシナプス入力を持つポアソン入力下での電圧確率分布および自己無撞着な発火レートを特定すること。
• ネットワークの安定性特性と計算能力の関係を結びつけることで、このような混合ネットワークが計算リザボアとしての可能性を検討すること。

提案手法

• コンダクタンスベースのシナプスを用いた、凹型漏れ型（LIF）および凸型アンチ漏れ型（XIF）イントレートアンドファイアニューロンの混合ネットワークをモデル化する。
• 有限サイズのシナプスインパルスを持つポアソン分布入力を用いて、自己無撞着な発火レートおよび電圧確率分布を計算する。
• リャプノフ指数（LEs）の全スケーリングおよび共変リャプノフベクトル（CLVs）を計算し、ダイナミカルな安定性および摂動の方向を分析する。
• CLVの性質に基づいて正当化された平均場アプローチを用い、XIFニューロン数と正のLE数の間の線形関係を説明する。
• ネットワークダイナミクスをリザボアとして用いるスパイクベースの計算スキームを提案し、XIFニューロンの割合によって計算能力を調整可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一のXIFニューロンがスパイクニューラルネットワーク全体のダイナミクスに与える影響は何か？
• RQ2 XIFニューロン数とネットワーク内での正のリャプノフ指数数の関係は何か？
• RQ3 混合LIF-XIFネットワークは、生物学的に妥当なシナプスを備えた状態で、バランスの取れた不規則な非同期スパイク状態を維持できるか？
• RQ4 電圧確率分布および発火レートは、入力統計およびニューロンタイプの組成にどのように依存するか？
• RQ5 このようなネットワークのダイナミカルな状態は、調整可能な計算能力を持つスパイクベースの計算に活用可能か？

主な発見

• 主にLIFネットワークに単一のXIFニューロンを組み込むと、XIFニューロン1つあたり約1つの正のリャプノフ指数が出現することで、カオスが誘発される。
• XIFニューロンにシンプルなコンダクタンスベースのシナプスを適用することで、バランスの取れた不規則な非同期スパイク状態を支持する。
• 有限サイズのシナプスインパルスを持つポアソン入力下で、電圧確率分布および自己無撞着な発火レートを解析的に計算可能である。
• リャプノフ指数の全スケーリングおよび対応する共変リャプノフベクトル（CLVs）が計算され、CLVsが正のLE数がXIFニューロン数に線形に比例することを説明している。
• CLV構造によって裏付けられた平均場アプローチにより、観察されたXIFニューロン数と正のLE数の線形関係を成功裏に説明できた。
• 安定状態とカオス状態という、ネットワークの明確なダイナミカルな状態の違いを活用することで、スパイクベースの計算スキームにおける調整可能な計算能力を実現できる。