[论文解读] CaMKII activation supports reward-based neural network optimization through Hamiltonian sampling

Zhaofei Yu, David Kappel+4 more|arXiv (Cornell University)|Jun 1, 2016

Neural dynamics and brain function参考文献 35被引用 4

一句话总结

本文提出，CaMKII的激活通过实现哈密顿采样，在基于奖励的神经网络优化中充当动量机制，从而通过高效逃离鞍点加速收敛。理论分析与仿真结果表明，该机制在保持最优网络配置的相同平稳分布的前提下，相较于标准的朗之万采样，能更高效地提升随机策略搜索的性能，实现更快的学习速度。

ABSTRACT

Synaptic plasticity is implemented and controlled through over thousand different types of molecules in the postsynaptic density and presynaptic boutons that assume a staggering array of different states through phosporylation and other mechanisms. One of the most prominent molecule in the postsynaptic density is CaMKII, that is described in molecular biology as a "memory molecule" that can integrate through auto-phosporylation Ca-influx signals on a relatively large time scale of dozens of seconds. The functional impact of this memory mechanism is largely unknown. We show that the experimental data on the specific role of CaMKII activation in dopamine-gated spine consolidation suggest a general functional role in speeding up reward-guided search for network configurations that maximize reward expectation. Our theoretical analysis shows that stochastic search could in principle even attain optimal network configurations by emulating one of the most well-known nonlinear optimization methods, simulated annealing. But this optimization is usually impeded by slowness of stochastic search at a given temperature. We propose that CaMKII contributes a momentum term that substantially speeds up this search. In particular, it allows the network to overcome saddle points of the fitness function. The resulting improved stochastic policy search can be understood on a more abstract level as Hamiltonian sampling, which is known to be one of the most efficient stochastic search methods.

研究动机与目标

• 理解CaMKII激活在基于奖励的神经网络优化中的功能作用。
• 研究CaMKII的持续激活状态如何支持突触可塑性中的更快随机搜索。
• 探讨CaMKII动力学是否能模拟类似模拟退火等高效优化方法。
• 确定CaMKII对突触更新的低通滤波作用是否作为动量项，从而改善收敛性。
• 检验由CaMKII实现的哈密顿采样是否在克服优化挑战（如鞍点）方面优于标准朗之万采样。

提出的方法

• 作者将突触可塑性建模为一个随机过程，该过程从平稳分布 p*T(θ) 中采样，该分布代表为奖励优化的网络配置。
• 他们引入CaMKII激活动力学作为动量项，对参数更新进行滤波，从而将标准朗之万采样有效转化为哈密顿采样。
• 动量通过一个具有时间持续性的动态变量实现（时间常数为50秒），模拟CaMKII的自磷酸化特性。
• 理论分析表明，哈密顿采样与朗之万采样具有相同的平稳分布 p*T(θ)，但收敛速度更快。
• 在使用三层感知机的MNIST分类任务中进行的仿真表明，从突触采样切换到哈密顿采样可显著加快逃离鞍点的速度。
• 该模型采用基于奖励的学习规则，提供即时二元反馈，梯度通过策略梯度方法估计。

实验结果

研究问题

• RQ1 CaMKII激活如何促进神经网络中的基于奖励的优化？
• RQ2 CaMKII动力学是否能模拟一种动量机制，从而加速突触可塑性中的随机搜索？
• RQ3 由CaMKII实现的哈密顿采样是否在逃离鞍点方面优于标准朗之万采样？
• RQ4 CaMKII的持续激活对基于奖励的学习收敛速度有何功能影响？
• RQ5 CaMKII机制能否被理解为神经网络中哈密顿采样的生物可实现的实现方式？

主要发现

• CaMKII激活动力学实现了类似动量的效果，从而加速了神经网络优化中的随机搜索。
• 所提出的机制将标准朗之万采样转化为哈密顿采样，后者已知能更快收敛至最优分布。
• 仿真结果表明，采用哈密顿采样的网络在逃离鞍点方面显著快于采用标准突触采样的网络。
• 由CaMKII激活导出的动量项使网络能更高效地克服局部极小值和鞍点。
• 网络配置的平稳分布保持不变，确保优化过程仍倾向于高奖励配置。
• 在固定温度下，该模型实现了更快的学习收敛，表明在基于奖励的学习中效率得到提升。