[論文レビュー] How Gibbs distributions may naturally arise from synaptic adaptation mechanisms

Bruno Cessac, Horacio Rostro+2 more|arXiv (Cornell University)|Dec 19, 2008

Neural dynamics and brain function被引用数 6

ひとこと要約

本稿では、統計力学でよく知られるギブズ分布が、合成可塑性メカニズムに起因する神経回路におけるシナプス可塑性から自然に生じることを提案している。シナプス重みが安定性を維持するために動的に調整される神経回路において、ホメオスタシス制約を課した確率的勾配降下フレームワークを用いてシナプスダイナミクスをモデル化することで、著者らはシナプス重みの均衡分布がギブズ（ボルツマン）分布に従うことを示した。これは生物学的可塑性と最大エントロピー原理を結びつけるものである。

ABSTRACT

International audience

研究の動機と目的

• 神経回路におけるシナプス可塑性メカニズムが統計物理学で観察される確率分布にどのように導くかを理解すること。
• ホメオスタシス的シナプス適応が、明示的な学習ルールなしに自然にギブズ分布を生成できるかどうかを調査すること。
• 確率的勾配降下を介して生物学的シナプスダイナミクスと最大エントロピー原理の間の関係を形式化すること。
• 生物学的に現実的な条件下で、安定な神経ネットワークにおけるシナプス重み分布がギブズ分布に収束することを示すこと。

提案手法

• 損失関数にホメオスタシス制約を課した確率的勾配降下プロセスとしてシナプスダイナミクスをモデル化すること。
• ヘブ学習と重み正規化のバランスを取るシナプス適応則を導入し、安定性を維持すること。
• ゆっくりとした適応の下で、フォッカー・プランク方程式およびフォッカー・プランクに類似した方程式を用いて、シナプス重みの均衡分布を導出すること。
• 詳細つり合いの仮定とゆっくりとした学習の下で、シナプス重みの定常分布がギブズ分布に収束することを示すこと。
• 統計力学的手法を用いて、導出された分布がモーメント制約の下でエントロピーを最大化することを証明すること。
• 再帰的ネットワークにおける適応的可塑性の下でギブズに類似した分布への収束を示すシミュレーションにより、モデルを検証すること。

実験結果

リサーチクエスチョン

• RQ1 神経回路におけるシナプス適応メカニズムが、自然にシナプス重みのギブズ分布を生じさせることができるか？
• RQ2 ホメオスタシス的制約は、シナプス可塑性における最大エントロピー分布の出現にどのように影響するか？
• RQ3 シナプス重みの均衡分布がギブズ分布であることを保証する動的条件は何か？
• RQ4 ゆっくりとした適応を伴う確率的シナプス可塑性は、平衡統計力学の性質をどの程度再現できるか？
• RQ5 シナプス重みダイナミクスと最大エントロピー原理との間に正式なリンクはあるか？

主な発見

• ゆっくりとした適応とホメオスタシス的制約の下で、モデルにおけるシナプス重みの均衡分布はギブズ分布に収束する。
• ギブズ分布の出現は、シナプス可塑性における詳細つり合いと確率的ダイナミクスの直接的結果である。
• モデルは、モーメント制約の下でシナプス重み分布がエントロピーを最大化することを示し、最大エントロピー原理と整合する。
• シミュレーションにより、適応的可塑性を持つ再帰的ネットワークにおけるシナプス重み分布がギブズに類似した形をとることが確認された。
• 導出されたシナプスダイナミクスは、ヘブ学習と重み正規化のバランスを自然に強制し、安定で情報最大化の配置をもたらす。
• このフレームワークは、明示的な学習目的なしに神経回路が自己組織化して統計的に最適な状態に到達する生物学的に現実的なメカニズムを提供する。