[論文レビュー] The thermodynamic temperature of a rhythmic spiking network

Paul Merolla, Tristan Ursell+1 more|arXiv (Cornell University)|Sep 28, 2010

Neural dynamics and brain function参考文献 17被引用数 12

ひとこと要約

この論文は、ポisson分布の入力ノイズを用いて温度を定義することで、スパikingニューラルネットワークに熱力学的枠組みを導入し、統計力学に類似した確率的スパイクを可能にする。グローバルな抑制リズムと短い膜時間定数を導入することで、スパイクニューロンを用いた単層ボルツマンマシンを実装し、離散的なアトラクター間を確率的に入れ替わるダイナミクスを示した。これは非平衡スパイクネットワークにおける平衡統計力学の生物学的に妥当なアナロジーである。

ABSTRACT

Artificial neural networks built from two-state neurons are powerful computational substrates, whose computational ability is well understood by analogy with statistical mechanics. In this work, we introduce similar analogies in the context of spiking neurons in a fixed time window, where excitatory and inhibitory inputs drawn from a Poisson distribution play the role of temperature. For single neurons with a "bandgap" between their inputs and the spike threshold, this temperature allows for stochastic spiking. By imposing a global inhibitory rhythm over the fixed time windows, we connect neurons into a network that exhibits synchronous, clock-like updating akin to neural networks. We implement a single-layer Boltzmann machine without learning to demonstrate our model.

研究の動機と目的

• スパイクニューラルネットワークに対して、統計力学における温度に類似した役割を果たすノイズを用いた熱力学的類似性を確立すること。
• 非平衡スパイクネットワークにおける一貫性のない温度定義の問題を解決し、統計力学とのリンクを回復すること。
• ボルツマンマシンなどの標準的なニューラルネットワークアルゴリズムを、確率的ダイナミクスを示すスパイクニューロンを用いて実装可能にする。
• 固定時間窓内での積分・スパイクニューロンに対して、測定可能なバンドギャップと有効温度を定義し、ネットワーク全体で一貫性を保証すること。
• リズミカルな抑制とポアソン入力ノイズが、平衡統計力学に類似した確率的アトラクター動的を生み出すことの妥当性を示すこと。

提案手法

• 固定時間窓 $T_W$ を用いてスパイクの機会を制限し、積分・スパイク（I&F）ニューロンのバンドギャップを、閾値と入力電流の差として定義する。
• 膜時間定数を短くする（$\tau_m \ll T_W$）ことで、膜電位が速やかに飽和し、安定した時間不変のバンドギャップが得られ、熱力学的解釈が簡略化される。
• 熱的ノイズに類似したポアソン分布の興奮性および抑制性入力を導入し、入力レートをネットワークの熱力学的温度として機能させる。
• 全ニューロンを定期的にリセットするグローバルなステップ波抑制リズムを適用し、スパイクの同期化を実現し、離散時間更新に類似した挙動を可能にする。
• 4つのバイナリアトラクター（75%のスパarsity、30%のオーバーラップ）に基づく重み行列を有する、I&Fニューロンの再帰的ネットワークを構築し、ボルツマンマシンに類似した構造を再現する。
• 各時間窓におけるスパイク／ノースパイクのバイナリネットワーク状態を用いて、保存パターンとの相関を計算し、アトラクター間の確率的遷移を追跡する。

実験結果

リサーチクエスチョン

• RQ1 熱的平衡に達しないスパイクニューロンのネットワークに対して、意味的に定義可能な熱力学的温度を導入できるか？
• RQ2 ポアソン分布の入力ノイズを、統計力学における温度に類似した方法で確率的スパイクを制御するためにどのように用いることができるか？
• RQ3 グローバルな抑制リズムが、スパイクネットワークにおける同期的で離散的時間更新を強制できるか？これにより、人工ニューラルネットワークとの類似性が成立するか？
• RQ4 非平衡ダイナミクスを示すスパイクネットワークが、どの程度ボルツマンマシンに類似した確率的アトラクター動的を示せるか？
• RQ5 特定の生物物理学的制約下で、固定時間窓内におけるスパイクニューロンの転送関数は、ロジスティック関数またはステップ関数によって良好に近似可能か？

主な発見

• ネットワークは4つの保存バイナリパターン間を確率的に入れ替わる遷移を示し、相関が一つのアトラクターの周囲を揺らめくことで、ボルツマン的ダイナミクスの確認が得られた。
• ポアソン入力ノイズの使用により、ネットワークの熱力学的温度が有効に設定され、平衡統計力学における確率的状態遷移に類似した挙動が実現した。
• グローバルな抑制リズムにより、全ニューロンにわたる同期的で離散的時間更新が成功裏に強制され、ネットワークエネルギーと温度の一貫性ある測定が可能になった。
• バンドギャップの概念は $\tau_m \ll T_W$ 条件下で明確に定義され、入力電流とスパイク確率との間の安定なマッピングが可能となった。
• ネットワークの状態軌道は、ボルツマンマシンにおける非ゼロ温度ダイナミクスの特徴である、アトラクター間の急激な遷移を示した。
• モデルは、学習を伴わず、ノイズとリズミカルな抑制のみを用いても、スパイクニューロンがボルツマンマシンなどの標準的なニューラルネットワークアルゴリズムを実装可能であることを示した。