[論文レビュー] Functional methods for disordered neural networks

Jannis Schuecker, Sven Goedeke+2 more|arXiv (Cornell University)|May 22, 2016

Advanced Thermodynamics and Statistical Mechanics被引用数 12

ひとこと要約

このチュートリアルは、クエンチドシナプス不規則性を有する不規則なニューラルネットワークを解析するための統計場理論的手法を提示する。マーティン＝シギア＝ローズ＝デ・ドミニコイス（MSRDJ）経路積分形式を用いて、動的平均場理論を導出する。混沌状態への遷移の基準を、ゼロ時間ラグにおける自己相関関数の曲率が消えることによって定義し、これと有効シュレーディンガー方程式の基底状態を結びつける。

ABSTRACT

Neural networks of the brain form one of the most complex systems we know. Many qualitative features of the emerging collective phenomena, such as correlated activity, stability, response to inputs, chaotic and regular behavior, can, however, be understood in simple models that are accessible to a treatment in statistical mechanics, or, more precisely, classical statistical field theory. This tutorial presents the fundamentals behind contemporary developments in the theory of neural networks of rate units that are based on methods from statistical mechanics of classical systems with a large number of interacting degrees of freedom. In particular we will focus on a relevant class of systems that have quenched (time independent) disorder. In neural networks, the main source of disorder arises from random synaptic couplings between neurons. These systems are in many respects similar to spin glasses. The tutorial therefore also explains the methods for these disordered systems as far as they are applied in neuroscience. The presentation consists of two parts. In the first part we introduce stochastic differential equations in the Martin - Siggia - Rose - De Dominicis - Janssen path integral formalism. In the second part we employ this language to derive the dynamic mean-field theory for deterministic random networks, the basis of the seminal work by Sompolinsky, Crisanti, Sommers 1988, as well as a recent extension to stochastic dynamics.

研究の動機と目的

• クエンチド不規則性（ランダムシナプス結合から生じる）を有する不規則なニューラルネットワークに対する機能的手法について、包括的かつアクセス可能なチュートリアルを提供すること。
• 文献におけるギャップを埋めるために、ランダムニューラルネットワークの動的平均場理論の詳細な導出を提供すること。これは、かつて完全な教育的解説が不足していた分野である。
• 形式主義を確率的ニューラルユニットに拡張し、ダイナミクスとフラクチュエーションにおけるノイズ効果を組み込むこと。
• 神経科学的文脈における確率微分方程式に対するMSRDJ経路積分形式の物理的および数学的基盤を明確化すること。
• 最大リヤプノフ指数のためのシュレーディンガー方程式を用いて、ランダムニューラルネットワークにおける混沌の発生条件を導出し、解釈すること。

提案手法

• 伊藤およびストラトニヴィチの表記法を用いて確率微分方程式を形式化し、MSRDJ形式を介して経路積分表現を導出する。
• デ・ドミニコイスのアプローチを用いて、シナプス結合のクエンチド不規則性の平均化を可能にする生成関数を構築する。
• 不規則な決定的ネットワークの動的平均場理論を、不規則性の平均化と自己整合的自己相関関数の解法により導出する。
• フラクチュエーションのダイナミクスを有効ポテンシャルでモデル化し、安定性解析を最大リヤプノフ指数のためのシュレーディンガー方程式に写像する。
• プライスの定理を用いて、ガウス積分の微分が被積分関数の微分のモーメントに等しいことを示し、応答関数の解析的取り扱いを可能にする。
• τ=0における自己相関関数の2階微分を分析することにより、混沌への遷移の基準を導入する。この値は臨界点で消失する。

実験結果

リサーチクエスチョン

• RQ1 クエンチドシナプス不規則性を有する不規則なニューラルネットワークのダイナミクスは、統計場理論を用いてどのように体系的に解析可能か？
• RQ2 ニューラルネットワークにおける確率微分方程式の機能的経路積分形式は何か？また、伊藤とストラトニヴィチの表記法はこの文脈でどのように異なるか？
• RQ3 MSRDJ形式は、クエンチド不規則性を有するランダムニューラルネットワークの動的平均場理論をどのように導出可能にするか？
• RQ4 ランダムニューラルネットワークにおける混沌への遷移の物理的および数学的根拠は何か？そして、これを解析的に予測する方法は？
• RQ5 ニューラルユニットにノイズを組み込むと、自己相関関数および混沌ダイナミクスの発生にどのような影響を与えるか？

主な発見

• ランダムニューラルネットワークにおける混沌状態への遷移は、ゼロ時間ラグにおける自己相関関数の2階微分が消えるとき発生する。すなわち、∂²c(τ)/∂τ²|τ=0 = 0 である。
• この臨界条件は、自己相関関数の曲率が符号を変えることに相当し、外部ノイズによる非相関化と内部の混沌ダイナミクスのバランスがとれる点を示す。
• 最大リヤプノフ指数は、ネットワークの自己整合的ダイナミクスから導かれるポテンシャルを有するシュレーディンガー方程式を解くことで決定される。
• この形式主義は、サムポリンスキーら（1988）の動的平均場理論を正確に再現し、ゴイデケら（2016）の確率的ユニットへの拡張も可能にしている。
• プライスの定理を厳密に適用することで、パラメータに関するガウス積分の微分が、被積分関数の微分のモーメントに等しいことが示された。
• 経路積分形式により、フェインマン図やループ展開を用いた系の摂動的取り扱いが可能となり、複雑なニューラルダイナミクスの統計的解析が可能になった。