[論文レビュー] Stochastic inference with deterministic spiking neurons

Mihai A. Petrovici, Johannes Bill+3 more|arXiv (Cornell University)|Nov 13, 2013

Neural dynamics and brain function被引用数 22

ひとこと要約

この論文は、ノイジーサイティング環境に埋め込まれた決定論的漏れ積分・発火ニューロンの再帰的ネットワークが、ターゲット事後分布からのサンプリングを通じて正確なベイズ推論を実行できることを示している。解析的導出とシミュレーションを通じて、ネットワークがギブスサンプリングに一致する正しい発火統計を達成することを示し、決定論的ニューロンダイナミクスのもとでもサンプルベースの確率的推論が可能であることを明らかにした。

ABSTRACT

The seemingly stochastic transient dynamics of neocortical circuits observed in vivo have been hypothesized to represent a signature of ongoing stochastic inference. In vitro neurons, on the other hand, exhibit a highly deterministic response to various types of stimulation. We show that an ensemble of deterministic leaky integrate-and-fire neurons embedded in a spiking noisy environment can attain the correct firing statistics in order to sample from a well-defined target distribution. We provide an analytical derivation of the activation function on the single cell level; for recurrent networks, we examine convergence towards stationarity in computer simulations and demonstrate sample-based Bayesian inference in a mixed graphical model. This establishes a rigorous link between deterministic neuron models and functional stochastic dynamics on the network level.

研究の動機と目的

• 決定論的ニューロンモデルと神経回路における確率的推論のギャップを埋める。
• 決定論的ニューロンが、明確に定義された確率分布からのサンプリングに必要な統計的ダイナミクスを再現できることを示す。
• 決定論的単一ニューロンダイナミクスとネットワークレベルの確率的挙動との間の機能的リンクを確立する。
• 生物学的に現実的な決定論的ニューロンモデルを用いて、再帰的スパイクネットワークにおけるサンプルベースのベイズ推論を可能にする。

提案手法

• 膜電位閾値を越えた場合にのみスパイクを発火させる決定論的スパイクルールを備えた、コンダクタンスベースのシナプスを有する漏れ積分・発火（LIF）ニューロンを用いる。
• ノイズは確率的シナプス入力によって導入され、高コンダクタンス状態を形成し、膜電位の拡散的フラクチュエーションを引き起こす。
• 膜電位を解析的に導出し、ギブスサンプリングに必要な活性化関数と一致させる。これにより、正しい発火統計が保証される。
• ネットワークの再帰的接続性はボルツマンマシンを実装し、重みとバイアスがターゲット事後分布を符号化する。
• 自己回復期間を活性化持続時間 $\tau_{\mathrm{on}}$ に等しく設定し、サンプリング時間窓と整合させる。
• シミュレーションにより、定常状態への収束が確認され、観測が不完全な状況下でも事前分布および事後分布からの正しいサンプリングが実現された。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある環境下の決定論的スパイクニューロンは、ベイズサンプリングに必要な確率的ダイナミクスを再現できるか？
• RQ2 決定論的ニューロンの活性化関数を、ギブスサンプリングの統計的要件に一致させるにはどのように導出できるか？
• RQ3 高コンダクタンス状態が、決定論的ニューロンを用いた確率的推論を可能にする機能的役割は何か？
• RQ4 絶対的自己回復性や独立ノイズなどのモデル簡略化が、サンプリング精度に及ぼす影響の程度はどの程度か？
• RQ5 このようなネットワークは、部分的または曖昧な感覚入力に応じて、オンラインでいつでもベイズ推論を実行できるか？

主な発見

• 部分的観測が与えられた場合、混合グラフィカルモデルを用いて、ネットワークがターゲット事後分布 $p(\boldsymbol{z}|\boldsymbol{y})$ からのサンプリングに成功した。
• 20 msのボックスフィルタを適用した場合、ネットワークは正しい周辺統計を示し、再帰的重み行列に格納された数字に対応する明確なモードを示した。
• 入力が曖昧な場合（例：数字0と矛盾する）、事後分布では数字0の確率が抑制され、数字3と4の間で二峰性の不確実性が現れた。
• シミュレーションでは、ネットワークが定常状態に収束し、時間経過とともに分布の異なるモードを訪れることで、適切なサンプリングダイナミクスが再現された。
• 解析的導出により、有効膜電位 $v_k = b_k + y_k + \sum_j W_{kj} z_j$ がギブスサンプリングに必要な形と一致することが示された。
• 絶対的自己回復性や即時伝達といった簡略化仮定を導入しても、ほとんどのシナリオでターゲット分布からのずれは最小限に抑えられた。