[논문 리뷰] STDP as presynaptic activity times rate of change of postsynaptic activity

Yoshua Bengio, Thomas Mesnard외 3명|arXiv (Cornell University)|2015. 09. 19.

Advanced Memory and Neural Computing참고 문헌 16인용 수 30

한 줄 요약

이 논문은 정확한 스파이크 타이밍이 필요로 하지 않고, 전시냅스 활성도의 발화 빈도와 후시냅스 활동의 시간 도함수의 곱에 따라 가중치 갱신이 이루어지는 새로운 시냅스 가소성 규칙을 제안한다. 이 규칙은 실험적으로 관찰된 STDP 유사한 가중치 변화를 재현하며, 예측 오차에 대한 확률적 경사 하강법에 해당하여, 레이트 기반 역학과 딥 네트워크에서의 역전파 간에 생물학적으로 타당한 연결 고리를 제공한다.

ABSTRACT

We introduce a weight update formula that is expressed only in terms of firing rates and their derivatives and that results in changes consistent with those associated with spike-timing dependent plasticity (STDP) rules and biological observations, even though the explicit timing of spikes is not needed. The new rule changes a synaptic weight in proportion to the product of the presynaptic firing rate and the temporal rate of change of activity on the postsynaptic side. These quantities are interesting for studying theoretical explanation for synaptic changes from a machine learning perspective. In particular, if neural dynamics moved neural activity towards reducing some objective function, then this STDP rule would correspond to stochastic gradient descent on that objective function.

연구 동기 및 목표

• 정확한 스파이크 타이밍 없이도 발화 빈도와 그 도함수만을 사용하여 STDP를 설명할 수 있는 시냅스 가소성 규칙을 개발하는 것.
• 신경망의 생물학적으로 타당한 학습 규칙과 역전파 기반 딥 러닝 간 격차를 메우기 위해, 확률적 경사 하강법과의 등가성을 보여주는 것.
• 이러한 규칙이 은닉층을 포함한 신경망에서 학습을 가능하게 할 수 있음을 이론적이고 시뮬레이션 기반으로 정당화하는 것.
• 후시냅스 활동의 시간 도함수가 다층 네트워크에서 신용 할당의 대체 지표로 기능할 수 있는지 탐색하는 것.

제안 방법

• 가중치 갱신 규칙은 전시냅스 발화 빈도와 후시냅스 활동의 시간 도함수의 곱에 비례하도록 정의된다.
• 비선형 활성 함수 ρ는 통합 막 전위를 발화 빈도로 매핑하여 레이트 기반 모델링을 가능하게 한다.
• 신경 동역학이 예측 오차를 최소화하는 데 가정될 경우, 이 규칙은 그 오차에 대한 경사 하강법을 수행하게 된다.
• 시뮬레이션 결과로 이 규칙이 STDP의 특징적인 곡선을 재현함을 확인할 수 있다: 후시냅스 스파이크가 전시냅스 스파이크보다 뒤에 올 경우 강화, 앞서 올 경우 감소.
• 이 규칙는 후시냅스 활동의 수준이 아니라 그 변화율을 포함함으로써 히브시안 규칙과 대비된다.
• 이론적 분석 결과, 신경 활동가 예측 오차를 최소화하도록 진화할 경우, 이 규칙은 그 목적 함수에 대한 확률적 경사 하강법을 수행한다.

실험 결과

연구 질문

• RQ1 발화 빈도와 그 도함수만을 기반으로 하는 시냅스 가소성 규칙이 실험적으로 관찰된 STDP 패턴을 재현할 수 있는가?
• RQ2 전시냅스 활성도와 후시냅스 활동 도함수의 곱에 기반한 규칙이 예측 오차에 대한 확률적 경사 하강법에 해당하는가?
• RQ3 이 규칙은 Xie와 Seung(2000)의 기존 레이트 기반 학습 규칙과 비교할 때 생물학적 타당성과 학습 성능 측면에서 어떻게 다른가?
• RQ4 이 규칙은 명시적인 역전파 없이도 은닉층을 포함한 딥 네트워크에서 신용 할당을 지원할 수 있는가?
• RQ5 학습 규칙이 빈도와 도함수에만 의존한다면, 스파이크 타이밍은 어떤 역할을 하는가?

주요 결과

• 제안된 규칙은 특징적인 STDP 가중치 변화 곡선을 성공적으로 재현하며, 후행 스파이크가 전행 스파이크보다 앞서는 경우 강화, 반대로 전행 스파이크가 뒤이르는 경우 감소를 보이며 생물학적 데이터와 일치한다.
• 시뮬레이션 결과로 이 규칙에 따라 시냅스 가중치가 갱신될 경우, 스파이크 타이밍 차이와 가중치 변화 간의 실험적 관찰 결과와 매우 유사한 변화 패tern이 나타남을 확인하였다.
• 신경 활동이 예측 오차를 최소화하도록 진화할 경우, 이 규칙은 그 오차 목적 함수에 대한 확률적 경사 하강법에 해당한다.
• 이 방법은 이전 연구(Scellier와 Bengio, 2016)에서 보여졌듯이, 지역적, 레이트 기반, 생물학적으로 타당한 학습 규칙만을 사용하여 딥 지도 학습 신경망을 훈련시킬 수 있다.
• 명시적인 스파이크 타이밍이 필요로 하지 않지만, 후시냅스 활동의 도함수를 통해 STDP의 핵심적인 시간 비대칭성을 잘 포착한다.
• 이 접근법은 정확한 스파이크 타이밍 없이도 레이트 기반 동역학이 신경 회로에서 역전파와 일관된 학습을 수행할 수 있음을 이론적으로 기반을 제공한다.