[論文レビュー] Exact computation of the Maximum Entropy Potential of spiking neural networks models

Rodrigo Cofré, Bruno Cessac|HAL (Le Centre pour la Communication Scientifique Directe)|May 14, 2014

Neural Networks and Applications被引用数 6

ひとこと要約

本稿では、神経模倣スパイクニューロンモデルと最大エントロピー（MaxEnt）モデルの間で正確な解析的写像を確立し、MaxEntポテンシャルの局所的場と結合が、シナプス重みと刺激の非線形関数であることを示している。主な結果は、MaxEntモデルが指数関数的に多くのパラメータを持つが、実際にはO(N²)個のパラメータしか非ゼロでないため、神経スパイク統計に隠れた低次元構造が存在することを明らかにしている。

ABSTRACT

Understanding how stimuli and synaptic connectivity in uence the statistics of spike patterns in neural networks is a central question in computational neuroscience. Maximum Entropy approach has been successfully used to characterize the statistical response of simultaneously recorded spiking neurons responding to stimuli. But, in spite of good performance in terms of prediction, the fitting parameters do not explain the underlying mechanistic causes of the observed correlations. On the other hand, mathematical models of spiking neurons (neuro-mimetic models) provide a probabilistic mapping between stimulus, network architecture and spike patterns in terms of conditional proba- bilities. In this paper we build an exact analytical mapping between neuro-mimetic and Maximum Entropy models.

研究の動機と目的

• 神経模倣モデル（シナプス重みと刺激によって神経動態を記述する）と、スパイクトレイン統計をフィットさせるために用いられる最大エントロピーモデルとの間で、厳密かつ明確な対応関係を確立すること。
• MaxEntラグランジュ乗数（例：機能的相互作用J_ij）の解釈の曖昧さを解消し、神経模倣モデルにおける生物学的に意味のあるパラメータにそれらを関連付けること。
• 実際の神経系において非ゼロパラメータが少数であることを踏まえ、高次元のMaxEntポテンシャルが簡略化可能かどうかを調査すること。
• 神経動的原理から直接MaxEntポテンシャルを導出し、観察された相関のメカニズム的説明を提供すること。

提案手法

• 神経模倣モデル（例：線形非線形モデルや積分・放電モデル）から正規化されたポテンシャルφを導出する。この際、シナプス重みW_ijと外部刺激Iに明示的な依存関係を含める。
• MaxEntポテンシャルの正準形を用い、スパイクパターンの確率分布を局所的場h_lと結合J_ijを含むギブス分布として表現する。
• 方程式(14)で形式化された非線形関数写像を通じて、MaxEntパラメータ（h_l, J_ij）と神経模倣パラメータ（W, I）との間で正確な解析的関係を確立する。
• O(N²)の神経模倣パラメータとO(2^{NR})のMaxEntパラメータを比較することで、MaxEntパrameter空間の次元を分析し、一般にO(N²)個のパラメータしか非ゼロでないことを示す。
• ガウス分布に従うシナプス重みをもつ簡単な2ニューロンモデルにこの手法を適用し、MaxEntパラメータが局所的接続だけでなく、ネットワーク全体の構造に依存することを示す。
• フレームワークを用いて、MaxEnt係数が近似的にゼロである場合を検出できることを示し、実際の神経データに隠れた簡略化則（例：集団的活動を捉えるためにペアワイズモデルがうまくいくこと）を示唆する。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピーモデルにおけるラグランジュ乗数（局所的場と結合）が、神経模倣スパイクニューロンモデルのパラメータから正確に導出可能か。
• RQ2 MaxEntモデルにおける機能的結合（J_ij）と神経模倣モデルにおける実際のシナプス重み（W_ij）との間に、体系的な関係があるか。
• RQ3 記憶と高次相関が存在するにもかかわらず、なぜペアワイズMaxEntモデルが神経スパイクトレインデータのフィッティングにおいてしばしばうまくいくのか。
• RQ4 実際の神経模倣動的法則から導出されたMaxEntパラメータは、低次元構造を示すか。もしそうなら、その簡略化の原因は何か。
• RQ5 正確な写像により、実際の神経系において多くのMaxEnt係数が近似的にゼロであることが明らかになるか。これにより、隠れた統計的法則が明らかになるか。

主な発見

• 神経模倣モデルから導出されたMaxEntポテンシャルは、局所的接続だけでなく、全シナプス重み行列Wと刺激Iに非線形的に依存する。
• MaxEntモデルにおける局所的場h_lと結合J_ijは、WとIの非線形関数であるため、MaxEntにおける機能的相互作用が個々のシナプス重みに対応するわけではない。
• 記憶深さRを持つMaxEntモデルはO(2^{NR})のパラメータ空間を持つが、神経模倣モデルから導出された場合には一般にO(N²)個のパラメータしか非ゼロでないため、顕著な次元削減が生じる。
• 一般にランダムなシナプス重みのもとでは、任意のMaxEnt係数h_lがゼロである確率はゼロであるため、実データで観察される簡略化は一般的ではなく、生物学的制約によるものであることが示唆される。
• 本手法により、近似的にゼロのMaxEnt係数を検出可能であり、これにより神経データに隠れた統計的法則（例：集団的活動を捉えるためにペアワイズモデルがうまくいくこと）を明らかにできる。
• 本フレームワークにより、スパイクトレイン相関をネットワーク構造と刺激入力に直接関連づけることで、因果的かつ機械的解釈が可能になる。