[논문 리뷰] An objective function for STDP.

Yoshua Bengio, Thomas Mesnard외 3명|arXiv (Cornell University)|2015. 09. 19.

Neural dynamics and brain function참고 문헌 25인용 수 18

한 줄 요약

이 논문은 시냅스 시계열 의존성 가소성(STDP)를 위한 예측 목표 함수를 제안하며, 가중치 변화가 전시냅스 발화 빈도와 후시냅스 활동의 시간 도함수와 연결되도록 한다. 시뮬레이션 결과 생물학적 STDP와 강한 일치를 보이며, 이 목표 함수의 기울기가 관측된 시계열 의존성 가중치 변화를 재현함을 확인한다.

ABSTRACT

We introduce a predictive objective function for the rate aspect of spike-timing dependent plasticity (STDP), i.e., ignoring the effects of synchrony of spikes but looking at spiking {\em rate changes}. The proposed weight update is proportional to the presynaptic spiking (or firing) rate times the {\em temporal change} of the integrated postsynaptic activity. We present an intuitive explanation for the relationship between spike-timing and weight change that arises when the weight change follows this rule. Spike-based simulations agree with the proposed relationship between spike timing and the temporal change of postsynaptic activity. They show a strong correlation between the biologically observed STDP behavior and the behavior obtained from simulations where the weight change follows the gradient of the predictive objective function.

연구 동기 및 목표

• 비생물학적 STDP에 대해 생물학적으로 타당한 목표 함수를 개발하여 빈도 의존성 시냅스 가중치 변화를 설명하는 것.
• 동기화 효과를 배제하고 스파이크 빈도 동적 특성에 집중하여 STDP의 빈도 측면을 분리하는 것.
• 예측 학습 프레임워크를 통해 관측된 STDP 행동과 일치하는 가중치 갱신 규칙을 유도하는 것.
• 이 목표 함수의 기울기가 시뮬레이션에서 생물학적 STDP의 핵심 특징을 재현함을 보여주는 것.

제안 방법

• 가중치 갱신은 전시냅스 발화 빈도와 통합된 후시냅스 활동의 시간 도함수의 곱에 비례한다.
• 목표 함수는 예측 가능하도록 설계되어 현재 시냅스 입력을 바탕으로 미래 예측 오차를 최소화하고자 한다.
• 제안된 가중치 갱신 규칙을 테스트하기 위해 스파이크 기반 시뮬레이션 프레임워크를 사용한다.
• 후시냅스 활동의 시간 변화는 통합된 후시냅스 전위의 연속 시간 도함수로 계산된다.
• 모델은 시냅스 가중치 변화가 예측 목표 함수의 기울기를 따라야 한다고 가정한다.
• 스파이크 시계열 상관관계와 동기화 효과를 무시함으로써 빈도 코딩에 집중하는 접근 방식이다.

실험 결과

연구 질문

• RQ1 예측 목표 함수는 어떻게 STDP에서 빈도 의존성 시냅스 가소성을 설명할 수 있는가?
• RQ2 전시냅스 발화 빈도와 후시냅스 활동의 시간 변화 간의 관계는 가중치 갱신을 결정하는 데 어떤 영향을 미치는가?
• RQ3 예측 목표 함수에서 유도된 가중치 갱신 규칙은 생물학적 STDP 행동을 재현하는가?
• RQ4 제안된 목표 함수의 기울기는 시뮬레이션에서 관측된 STDP 동역학을 설명할 수 있는가?

주요 결과

• 제안된 목표 함수는 생물학적 STDP에서 관측된 시계열과 가중치 변화 간의 핵심 관계를 성공적으로 재현한다.
• 스파이크 기반 시뮬레이션에서 제안된 목표 함수를 사용할 경우, 시뮬레이션된 STDP 행동과 생물학적 STDP 간에 강한 상관관계를 보였다.
• 목표 함수의 기울기 기반 가중치 갱신 규칙은 시냅스 가중치 변화의 시간 동역학을 정확히 포착한다.
• 모델는 예측 학습 메커니즘을 통해 시계열과 가중치 변화 간의 관계를 설명한다.
• 결과는 빈도 의존성 STDP가 예측 목표 함수에 대한 기울기 하강의 한 형태로 이해될 수 있음을 보여준다.
• 모델에서 동기화 효과가 없음으로써 STDP 내 빈도 기반 메커니즘의 명확한 분리가 가능해졌다.