[論文レビュー] CaMKII activation supports reward-based neural network optimization through Hamiltonian sampling

Zhaofei Yu, David Kappel+4 more|arXiv (Cornell University)|Jun 1, 2016

Neural dynamics and brain function参考文献 35被引用数 4

ひとこと要約

本稿では、CaMKIIの活性化が、ハミルトニアンサンプリングを可能にすることで、報酬ベースのニューラルネットワーク最適化におけるモーメンタム機構として機能すると提案している。この機構により、停留点からの脱出が効率的に行われ、収束が加速される。理論的およびシミュレーション上の結果から、標準的なランジュバンサンプリングに比べ、このメカニズムは確率的方策探索を改善し、同じ最適なネットワーク構成の定常分布を維持しながら、より速い学習を達成することが示された。

ABSTRACT

Synaptic plasticity is implemented and controlled through over thousand different types of molecules in the postsynaptic density and presynaptic boutons that assume a staggering array of different states through phosporylation and other mechanisms. One of the most prominent molecule in the postsynaptic density is CaMKII, that is described in molecular biology as a "memory molecule" that can integrate through auto-phosporylation Ca-influx signals on a relatively large time scale of dozens of seconds. The functional impact of this memory mechanism is largely unknown. We show that the experimental data on the specific role of CaMKII activation in dopamine-gated spine consolidation suggest a general functional role in speeding up reward-guided search for network configurations that maximize reward expectation. Our theoretical analysis shows that stochastic search could in principle even attain optimal network configurations by emulating one of the most well-known nonlinear optimization methods, simulated annealing. But this optimization is usually impeded by slowness of stochastic search at a given temperature. We propose that CaMKII contributes a momentum term that substantially speeds up this search. In particular, it allows the network to overcome saddle points of the fitness function. The resulting improved stochastic policy search can be understood on a more abstract level as Hamiltonian sampling, which is known to be one of the most efficient stochastic search methods.

研究の動機と目的

• CaMKIIの活性化が報酬ベースのニューラルネットワーク最適化において果たす機能的役割を理解すること。
• CaMKIIの持続的活性化状態がシナプス可塑性における確率的探索をどのように高速化するかを調査すること。
• CaMKIIのダイナミクスが、焼きなまし法のような効率的な最適化手法を模倣できるかを検討すること。
• CaMKIIの低域フィルタリングによるシナプス更新の低減が、収束を改善するモーメンタム項として機能するかを特定すること。
• CaMKIIによって可能になるハミルトニアンサンプリングが、標準的なランジュアンサンプリングを上回るかを検証すること。

提案手法

• 著者たちは、報酬に最適化されたネットワーク構成を表す定常分布 p*T(θ) からサンプリングする確率的プロセスとしてシナプス可塑性をモデル化している。
• 彼らは、パrameter更新をフィルタリングするモーメンタム項として、CaMKIIの活性化ダイナミクスを導入し、これによりランジュアンサンプリングからハミルトニアンサンプリングに変換している。
• モーメンタムは、時間定数50秒の動的変数として実装されており、CaMKIIの自己リン酸化を模倣している。
• 理論的分析により、ハミルトニアンサンプリングがランジュアンサンプリングと同一の定常分布 p*T(θ) からサンプリングするが、収束がより速いことが示された。
• 3層パーセプトロンを用いたMNIST分類のシミュレーションにより、シナプスサンプリングからハミルトニアンサンプリングに切り替えることで、停留点からの脱出が著しく速くなった。
• モデルは即時のバイナリフィードバックを伴う報酬ベースの学習ルールを用い、勾配は方策勾配法により推定されている。

実験結果

リサーチクエスチョン

• RQ1 CaMKIIの活性化は、ニューラルネットワークにおける報酬ベースの最適化にどのように寄与するか？
• RQ2 CaMKIIのダイナミクスは、シナプス可塑性における確率的探索を高速化するモーメンタム機構を模倣できるか？
• RQ3 CaMKIIによって可能になるハミルトニアンサンプリングは、停留点からの脱出において、標準的なランジュアンサンプリングを上回るか？
• RQ4 CaMKIIの持続的活性化が、報酬誘導学習の収束速度に及ぼす機能的影響は何か？
• RQ5 CaMKIIメカニズムは、ニューラルネットワークにおけるハミルトニアンサンプリングの生物学的に妥当な実装と見なせるか？

主な発見

• CaMKIIの活性化ダイナミクスは、ニューラルネットワーク最適化における確率的探索を加速するモーメンタムに類似した効果をもたらす。
• 提案されたメカニズムにより、標準的なランジュアンサンプリングがハミルトニアンサンプリングに変換され、これは最適な分布への収束が速いと知られている。
• シミュレーションでは、ハミルトニアンサンプリングを用いるネットワークが、標準的なシナプスサンプリングを用いるネットワークよりも、停留点からの脱出が著しく速いことが示された。
• CaMKII活性化から導出されるモーメンタム項により、ネットワークは局所的最小値や停留点をより効率的に克服できるようになった。
• ネットワーク構成の定常分布は変化せず、最適化が依然として高報酬の構成を優遇することが保証された。
• 固定温度下で、より速い学習収束が達成されたことから、報酬ベースの学習における効率の向上が示された。