[논문 리뷰] Learning dynamic Boltzmann machines with spike-timing dependent plasticity

Takayuki Osogami, Makoto Otsuka|arXiv (Cornell University)|2015. 09. 29.

Neural dynamics and brain function참고 문헌 31인용 수 11

한 줄 요약

이 논문은 시간 시리즈 모델링을 위해 정확하고 국소적이며 수렴 가능한 학습을 가능하게 하는 구조적 파rameter를 가진 동적 볼츠만 기계(DyBM)를 제안한다. 이는 학습 규칙을 스파ike 타이밍 의존성 가소성(STDP)로 해석함으로써 이루어진다. DyBM-∞ 모델은 장기 기억을 지원하며, 시간에 따른 역전파(backpropagation through time)를 피하고, 내장된 균형 유지 가소성과 함께 STDP 유사한 장기 강화 및 감퇴를 달성한다.

ABSTRACT

We propose a particularly structured Boltzmann machine, which we refer to as a dynamic Boltzmann machine (DyBM), as a stochastic model of a multi-dimensional time-series. The DyBM can have infinitely many layers of units but allows exact and efficient inference and learning when its parameters have a proposed structure. This proposed structure is motivated by postulates and observations, from biological neural networks, that the synaptic weight is strengthened or weakened, depending on the timing of spikes (i.e., spike-timing dependent plasticity or STDP). We show that the learning rule of updating the parameters of the DyBM in the direction of maximizing the likelihood of given time-series can be interpreted as STDP with long term potentiation and long term depression. The learning rule has a guarantee of convergence and can be performed in a distributed matter (i.e., local in space) with limited memory (i.e., local in time).

연구 동기 및 목표

• 유한 순서 마르코프 모델을 초월하는 장기적 의존성을 포착할 수 있는 확률적 시간 시리즈 모델을 개발하기 위해.
• 시간 동적 특성과 스파이크 타이밍 의존성 가소성(STDP)을 통합한 볼츠만 기계를 위한 학습 규칙을 체계화하기 위해.
• 시간 시리즈 데이터에 대해 분산형, 공간적으로 국소적이고 시간적으로 국소적인 학습을 보장하는 수렴 가능성을 확보하기 위해.
• 생물학적 신경망에서의 STDP와 비방향 그래픽 모델의 최대우도 학습 간 이론적 연결을 구축하기 위해.
• 기존 순환 모델의 한계를 극복하기 위해 시간에 따른 역전파와 기울기 소실 문제를 피하기 위해.

제안 방법

• 각 층이 다차원 시간 시리즈의 과거 시간 단계를 인코딩하는 무한히 많은 층을 가진 볼츠만 기계로 DyBM을 정의한다.
• 시냅스 가중치를 시간 지연에 대한 기하 급수의 합으로 구조화함으로써 분석적 취급 가능성과 국소적 학습을 가능하게 한다.
• 과거 기록을 조건으로 하여 다음 값의 조건부 분포 하에서 관측된 시간 시리즈 데이터의 가능도를 최대화하는 학습 규칙을 유도한다.
• 학습 규칙이 STDP로 축소됨을 보여주며, 전시냅스 작동이 후시냅스 작동보다 앞서면 장기 강화가 발생하고, 반대로 후시냅스가 먼저면 장기 감퇴가 발생함을 확인한다.
• 최근 스파이크 기록만을 저장하는 선입선출(FIFO) 큐를 사용하여 국소적 학습을 구현함으로써 낮은 메모리 사용과 시간적 국소성을 확보한다.
• 기대 작동 빈도를 통한 예측된 작동 빈도 기반의 균형 유지 가소성 메커니즘을 도입하여 학습을 안정화하고 발산을 방지한다.

실험 결과

연구 질문

• RQ1 볼츠만 기계는 전체 역사 의존성을 유지하면서도 효율적인 학습이 가능한 시간 시리즈 데이터를 모델링할 수 있는가?
• RQ2 이러한 모델에 대한 최대우도 학습 규칙은 장기 강화와 감퇴를 모두 포함한 STDP와 자연스럽게 대응하는가?
• RQ3 시간에 따른 역전파 없이 분산형, 공간적으로 국소적이고 시간적으로 국소적인 방식으로 학습 규칙을 구현할 수 있는가?
• RQ4 DyBM에서 수렴성과 국소적 학습을 보장하기 위해 필요한 파rameter의 구조적 제약 조건은 무엇인가?
• RQ5 기대 작동 빈도 기반의 균형 유지 메커니즘이 DyBM의 학습 안정성에 어떤 영향을 미치는가?

주요 결과

• DyBM-∞ 모델은 유한 순서 마르코프 모델의 한계를 초월하여 임의의 길이의 시간 의존성을 표현할 수 있다.
• 최대우도 추정에서 유도된 학습 규칙은 장기 강화와 장기 감퇴를 모두 포함한 정확한 STDP에 해당한다.
• 학습률이 충분히 작을 경우 학습 과정은 수렴이 보장되며, 각 업데이트가 훈련 데이터의 가능도를 증가시킴을 보여준다.
• 학습 규칙은 공간적·시간적으로 완전히 국소적이다: 국소적 스파이크 정보와 유한한 FIFO 큐의 과거 스파이크 기록만 필요하다.
• 기대 작동 빈도 기반의 새로운 균형 유지 가소성 메커니즘이 체계적으로 유도되었으며, 학습 안정성을 향상시킴을 입증하였다.
• DyBM는 기울기 소실 문제를 피하고 시간에 따른 역전파가 필요 없어, 표준 RNN과는 구별된다.