[논문 리뷰] CaMKII activation supports reward-based neural network optimization through Hamiltonian sampling

Zhaofei Yu, David Kappel외 4명|arXiv (Cornell University)|2016. 06. 01.

Neural dynamics and brain function참고 문헌 35인용 수 4

한 줄 요약

이 논문은 보상 기반 신경망 최적화에서 CaMKII 활성화가 하미르토니안 샘플링을 통해 동역학적 모멘텀 기법으로 작용함을 제안한다. 이는 안정점에서의 탈출을 효율적으로 가능하게 하여 수렴 속도를 가속화한다. 이론적 및 시뮬레이션 결과는 표준 라운지에르 샘플링에 비해 이 기법이 확률적 정책 탐색을 향상시키며, 동일한 최적 네트워크 구성의 정적 분포를 유지하면서 더 빠른 학습을 달성함을 보여준다.

ABSTRACT

Synaptic plasticity is implemented and controlled through over thousand different types of molecules in the postsynaptic density and presynaptic boutons that assume a staggering array of different states through phosporylation and other mechanisms. One of the most prominent molecule in the postsynaptic density is CaMKII, that is described in molecular biology as a "memory molecule" that can integrate through auto-phosporylation Ca-influx signals on a relatively large time scale of dozens of seconds. The functional impact of this memory mechanism is largely unknown. We show that the experimental data on the specific role of CaMKII activation in dopamine-gated spine consolidation suggest a general functional role in speeding up reward-guided search for network configurations that maximize reward expectation. Our theoretical analysis shows that stochastic search could in principle even attain optimal network configurations by emulating one of the most well-known nonlinear optimization methods, simulated annealing. But this optimization is usually impeded by slowness of stochastic search at a given temperature. We propose that CaMKII contributes a momentum term that substantially speeds up this search. In particular, it allows the network to overcome saddle points of the fitness function. The resulting improved stochastic policy search can be understood on a more abstract level as Hamiltonian sampling, which is known to be one of the most efficient stochastic search methods.

연구 동기 및 목표

• CaMKII 활성화가 보상 기반 신경망 최적화에서 수행하는 功能적 역할을 이해하는 것.
• CaMKII의 지속적 활성화 상태가 시냅스 가소성에서 더 빠른 확률적 탐색을 어떻게 지원하는지 조사하는 것.
• CaMKII의 역학이 시뮬레이션 냉각과 같은 효율적인 최적화 방법을 모방할 수 있는지 탐색하는 것.
• CaMKII의 저역통과 필터링이 시냅스 업데이트에 대해 모멘텀 항으로 작용하여 수렴을 향상시키는지 판단하는 것.
• CaMKII에 의해 가능해지는 하미르토니안 샘플링이 표준 라운지에르 샘플링보다 최적화 과제(예: 안정점 탈출)를 더 잘 해결하는지 테스트하는 것.

제안 방법

• 저자는 보상 최적화를 위한 네트워크 구성의 정적 분포 p*T(θ)에서 샘플링하는 확률적 과정으로 시냅스 가소성을 모델링한다.
• 그들은 라운지에르 샘플링을 하미르토니안 샘플링으로 효과적으로 전환시키기 위해, 매개변수 업데이트를 필터링하는 모멘텀 항으로서 CaMKII 활성화 역학을 도입한다.
• 모멘텀은 시간이 지남에 따라 지속되는 동적 변수를 통해 구현되며(50초 시간 상수), CaMKII의 자가 인산화를 모방한다.
• 이론적 분석은 하미르토니안 샘플링이 라운지에르 샘플링과 동일한 정적 분포 p*T(θ)에서 샘플링하지만 더 빠른 수렴을 보임을 보여준다.
• 3층 퍼셉트론을 사용한 MNIST 분류 시뮬레이션은 시냅스 샘플링에서 하미르토니안 샘플링으로 전환할 경우 안정점에서의 탈출 속도가 빨라짐을 보여준다.
• 모델은 즉각적인 이진 피드백을 가지는 보상 기반 학습 규칙을 사용하며, 기울기는 정책 기반 기울기 방법을 통해 추정된다.

실험 결과

연구 질문

• RQ1 CaMKII 활성화는 신경망의 보상 기반 최적화에 어떻게 기여하는가?
• RQ2 CaMKII 역학은 시냅스 가소성에서 더 빠른 확률적 탐색을 가속화하는 모멘텀 기법을 모방할 수 있는가?
• RQ3 CaMKII에 의해 가능해지는 하미르토니안 샘플링은 안정점 탈출에서 표준 라운지에르 샘플링을 초월하는가?
• RQ4 CaMKII의 지속적 활성화가 보상 유도 학습의 수렴 속도에 미치는 기능적 영향은 무엇인가?
• RQ5 CaMKII 메커니즘이 신경망에서 하미르토니안 샘플링의 생물학적으로 타당한 구현으로 이해될 수 있는가?

주요 결과

• CaMKII 활성화 역학은 신경망 최적화에서 수렴 속도를 가속화하는 모멘텀 유사 효과를 제공한다.
• 제안된 메커니즘은 표준 라운지에르 샘플링을 하미르토니안 샘플링으로 전환시키며, 이는 최적 분포에 더 빠르게 수렴하는 것으로 잘 알려져 있다.
• 시뮬레이션 결과는 하미르토니안 샘플링을 사용하는 네트워크가 표준 시냅스 샘플링을 사용하는 네트워크보다 안정점에서 훨씬 빠르게 탈출함을 보여준다.
• CaMKII 활성화에서 유도된 모멘텀 항은 네트워크가 국소 최소값과 안정점을 더 효율적으로 극복할 수 있도록 한다.
• 네트워크 구성의 정적 분포는 그대로 유지되어 최적화가 여전히 높은 보상 구성에 기여함을 보장한다.
• 고정된 온도에서 더 빠른 학습 수렴을 달성함으로써 보상 기반 학습의 효율성이 향상됨을 보여준다.