[論文レビュー] Statistical Mechanics of Recurrent Neural Networks II. Dynamics

A C C Coolen|arXiv (Cornell University)|Jun 1, 2000

Neural Networks and Applications参考文献 14被引用数 33

ひとこと要約

本稿では、非平衡統計力学的手法を用いて、非対称シナプスや勾配上昇型応答を示すニューロンといった生物学的に現実的な特徴を有する再帰的ニューラルネットワークのダイナミクスを解明する。平衡状態の手法に起因する制限を克服し、単純な状態では閉じたマクロな方程式を導出し、複雑でガラス状のダイナミクスに近い状態では生成関数法を用いる。その結果、複雑な状態におけるダイナミクスの単純化は、希釈性よりもシナプスの非対称性に起因することが示された。

ABSTRACT

A lecture notes style review of the non-equilibrium statistical mechanics of recurrent neural networks with discrete and continuous neurons (e.g. Ising, graded-response, coupled-oscillators). To be published in the Handbook of Biological Physics (North-Holland). Accompanied by a similar review (part I) dealing with the statics.

研究の動機と目的

• 再帰的ニューラルネットワークの統計力学的解析を、平衡状態の静的性質を超えて動的挙動を含めたものに拡張すること。
• 詳細なバランスや対称的シナプスを仮定する平衡状態の手法が持つ生物学的に現実的でない制約を解消すること。
• 完全接続型および極めて希釈されたネットワークにおけるバイナリーニューロンおよび連続的ニューロンの両方に対して、取り扱い可能な動的法則を開発すること。
• 非平衡的手法が生物学的に現実的なシナプス非対称性を扱えること、かつ詳細なバランスを仮定する必要がないことを示すこと。
• 生成関数法とレプリカ理論を用いて、飽和に近い複雑でガラス状のダイナミクスを分析するための枠組みを確立すること。

提案手法

• 非平衡統計力学を用いて、微視的ニューロンダイナミクスからマクロな動的法則を導出する。
• 複雑な状態における二時刻相関関数および応答関数を扱うために生成関数技術を適用する。
• 飽和に近い状態における相転移およびガラス状挙動を分析するため、レプリカ対称性破れ（RSB）形式を用いる。
• 単一時刻のマクロな観測量（例：磁化、相関）に対する閉じた決定的微分方程式を、単純な状態で導出する。
• 対称的および非対称的シナプス結合を有するバイナリーニューロンおよび連続的（勾配上昇型応答）ニューロンを両方分析する。
• 離散時間における生成関数を用いて、相関関数および応答関数の系統的導出を行う。

実験結果

リサーチクエスチョン

• RQ1 非平衡統計力学を用いて、非対称シナプスを有する再帰的ニューラルネットワークのダイナミクスをどのようにモデル化できるか。
• RQ2 バイナリーニューロンおよび連続的ニューロンを有するアトラクタネットワークが単純な状態にあるとき、どのようなマクロな法則がダイナミクスを支配するか。
• RQ3 シナプスの非対称性は、飽和に近い状態でのガラス状ダイナミクスの出現にどのように影響するか。
• RQ4 ネットワークの希釈性は、複雑な状態におけるマクロなダイナミクスの単純化に果たす役割は何か。
• RQ5 生成関数法は、複雑で非平衡なニューラルダイナミクスにおける相関関数および応答関数に対して、正確または近似的な解を提供できるか。

主な発見

• 非平衡統計力学により、詳細なバランスを仮定せずとも、非対称シナプスを有する再帰的ネットワークの正確な動的解が得られる。
• 単純な状態では、バイナリーニューロンおよび連続的ニューロンの両方に対して、一時刻のマクロな量（例：磁化、相関）の閉じた決定的微分方程式が導出された。
• 極めて希釈されたネットワークでは、シナプスの対称性の欠如—希釈性ではなく—が、飽和に近い状態でのマクロなダイナミクスの単純化をもたらす。
• 相図の結果から、RSB形式においてスピンガラス（SG）状態への転移は αc = 1 で発生することが判明した。また、レプリカ対称性近似では F → SG 線は物理的に不適切である。
• 生成関数法は、複雑な状態における非自明なガラス状ダイナミクス、特に二時刻相関関数および応答関数を的確に捉えた。
• 本研究の結果は、非平衡的手法が、非対称接続性と勾支配応答を有する生物学的に現実的なニューラルネットワークをモデル化するのに、平衡手法よりも適していることを示している。