[論文レビュー] Spectra of winner-take-all stochastic neural networks

Tomasz Schreiber|arXiv (Cornell University)|Oct 17, 2008

Neural dynamics and brain function参考文献 14被引用数 6

ひとこと要約

本稿は、勝者を独り占めする（WTA）確率的ニューラルネットワークのスペクトル特性を厳密に分析し、WTAダイナミクスによって誘導されるスパikeフロー・グラフのスペクトルの極限定理を導出する。スペクトル測度の極限形をベッセル関数の零点を用いて明示的に特定し、fMRIデータで観察された中規模脳ネットワークにおけるスケールフリー行動の数学的基盤を確立する。

ABSTRACT

During the recent few years, in response to empirical findings suggesting scale-free self-organisation phenomena emerging in complex nervous systems at a mesoscale level, there has been significant search for suitable models and theoretical explanations in neuroscientific literature, see the recent survey by Bullmore and Sporns (2009). In Piekniewski and Schreiber (2008) we have developed a simple and tractable mathematical model shedding some light on a particular class of the afore-mentioned phenomena, namely on mesoscopic level self-organisation of functional brain networks under fMRI imaging, where we have achieved a high degree of agreement with existing empirical reports. Being addressed to the neuroscientific community, our work Piekniewski and Schreiber (2008) relied on semi-rigorous study of information flow structure in a class of recurrent neural networks exhibiting asymptotic scale-free behaviour and admitting a description in terms of the so-called winner-take-all dynamics. The purpose of the present paper is to define and study these winner-take-all networks with full mathematical rigour in context of their asymptotic spectral properties, well known to be of interest for neuroscientific community. Our main result is a limit theorem for spectra of the spike-flow graphs induced by the winner-take-all dynamics. We provide an explicit characterisation of the limit spectral measure expressed in terms of zeros of Bessel's J-function.

研究の動機と目的

• 勝者を独り占めする（WTA）確率的ニューラルネットワークの漸近的スペクトル特性を理解するための数学的厳密なフレームワークを提供すること。
• 大Nにおける漸近的条件下でWTAダイナミクスによって生成されるスパikeフロー・グラフの極限スペクトル測度を特徴づけること。
• これらのニューラルネットワークのスペクトル分布とベッセル関数の零点との間の関係を確立すること。
• 扱いやすい確率的モデルを用いて、中規模機能的脳ネットワークにおけるスケールフリー位相の出現を正当化すること。
• Piekniewski & Schreiber (2008) が先行して提示した半厳密な結果を、作用素理論と極値理論を用いた完全な数学的証明へと拡張すること。

提案手法

• N 個のニューロンと i.i.d. のガウス重みを持つ勝者を独り占めする（WTA）確率的ニューラルネットワークモデルの形式的定義。
• エッジの重複度がニューロン間の電荷移動回数を表すスパikeフロー・グラフの構築。
• トレースクラス作用素理論とスペクトル解析を用いて、正規化された隣接行列の極限スペクトル分布を研究すること。
• モーメント法とCarlemanの基準を用いて、スペクトル測度の弱収束を証明すること。
• 極限カーネル作用素の積分固有値方程式の導出により、ベッセル関数を含む微分方程式に到達すること。
• L²可積分性と正規化を課す境界条件のもとで、1階および0階のベッセル関数を用いた微分方程式の解法。

実験結果

リサーチクエスチョン

• RQ1 大Nにおける勝者を独り占めする確率的ニューラルネットワークのスパikeフロー・グラフの極限スペクトル分布は何か？
• RQ2 極限カーネル作用素の固有値は、ベッセル関数などの特殊関数とどのように関係しているか？
• RQ3 中規模脳ネットワークにおけるスケールフリー位相の出現は、WTAダイナミクスによって数学的に厳密に説明可能か？
• RQ4 システムパラメータのスケーリングが、スペクトル測度の確率的極限への収束を保証するための条件は何か？
• RQ5 極値理論とトレースクラス作用素は、これらの確率的ニューラル系のスペクトル特性を特徴づける上で果たす役割は何か？

主な発見

• スパikeフロー・グラフの極限スペクトル測度は、1階のベッセル関数 J₁ の零点によって特徴づけられる。
• 極限カーネル作用素のすべての固有値は正であり、単純であり、固有値 λ は J₁(2√2 / √λ) = 0 を満たす。
• スペクトル測度は、適切なスケーリングのもとで、正規化された隣接行列の経験的スペクトル分布の弱収束として生じる。
• スペクトル測度の収束は、モーメント法とCarlemanの基準を用いて確立され、極限作用素のトレースクラス性に依存する。
• モデルは、WTAダイナミクスが漸近的にスケールフリーなネットワークを生成することを確認し、実証的fMRI観察と整合するべきべき指数2を示す。
• 関数解析と特殊関数を用いた完全な数学的厳密性により、Piekniewski & Schreiber (2008) のヒューリスティックで半厳密な結果が正当化される。