[논문 리뷰] A wake-sleep algorithm for recurrent, spiking neural networks

Johannes Thiele, Peter U. Diehl외 1명|arXiv (Cornell University)|2017. 03. 18.

Advanced Memory and Neural Computing참고 문헌 10인용 수 10

한 줄 요약

이 논문은 자극 시차 의존성 가소성(STDP)로 훈련되는 순환 스파iking 신경망에서 가중치 군집을 방지하기 위해 웨이크-슬립 알고리즘을 제안한다. 웨이크 단계 학습과 무작위 입력을 사용한 슬립 단계 반-헤브시안 학습을 번갈아 적용함으로써, 유해한 액터 상태를 억제하여 최대 10배 높은 학습률을 허용하고, 더 빠른 수렴 속도와 낮은 추론 오차를 달성한다.

ABSTRACT

We investigate a recently proposed model for cortical computation which performs relational inference. It consists of several interconnected, structurally equivalent populations of leaky integrate-and-fire (LIF) neurons, which are trained in a self-organized fashion with spike-timing dependent plasticity (STDP). Despite its robust learning dynamics, the model is susceptible to a problem typical for recurrent networks which use a correlation based (Hebbian) learning rule: if trained with high learning rates, the recurrent connections can cause strong feedback loops in the network dynamics, which lead to the emergence of attractor states. This causes a strong reduction in the number of representable patterns and a decay in the inference ability of the network. As a solution, we introduce a conceptually very simple "wake-sleep" algorithm: during the wake phase, training is executed normally, while during the sleep phase, the network "dreams" samples from its generative model, which are induced by random input. This process allows us to activate the attractor states in the network, which can then be unlearned effectively by an anti-Hebbian mechanism. The algorithm allows us to increase learning rates up to a factor of ten while avoiding clustering, which allows the network to learn several times faster. Also for low learning rates, where clustering is not an issue, it improves convergence speed and reduces the final inference error.

연구 동기 및 목표

• STDP로 훈련되는 순환 스파킹 신경망에서 발생하는 가중치 군집 문제를 다루며, 이는 액터 상태를 유도하고 추론 성능을 떨어뜨린다.
• 현재 유일한 방법으로 군집을 피하기 위해 사용되는 낮은 학습률의 제한을 극복한다.
• 구조적 변경 없이도 네트워크의 내재된 동역학을 활용해 문제적 가중치 군집을 식별하고 제거하는 방법을 개발한다.
• 더 높은 학습률을 허용함으로써 더 빠른 훈련과 향상된 수렴 속도를 달성하면서도 낮은 추론 오차를 유지한다.
• 이미 존재하는 군집을 제거할 수 있음을 입증함으로써 군집 방지 외에도 기존 군집 제거 능력을 보여준다.

제안 방법

• 웨이크 단계에서는 표준 STDP 학습을, 슬립 단계에서는 무작위 입력 자극을 사용하는 이중 단계 훈련 스케줄을 적용한다.
• 슬립 단계 동안 네트워크는 내부 활동 패턴("꿈")을 생성하며, 이는 군집된 가중치에 의해 유도된 기존의 액터 상태를 활성화한다.
• 슬립 단계에서 헤브시안 학습률의 부호를 반전시켜 반-헤브시안 학습 규칙을 적용함으로써 액터 상태 형성에 기여하는 가중치를 제거한다.
• 액터 상태에 참여하는 뉴런 간의 상관 활동을 통해, 네트워크의 순환 스파킹 동역학을 생성 모델로 활용해 군집을 식별한다.
• 강한 피드백 루프에 기여하는 가중치에만 반-헤브시안 메커니즘을 선택적으로 적용함으로써 군집을 효과적으로 해체한다.
• LIF 뉴런과 삼중체 규칙을 사용한 STDP를 적용한 삼중 관계 추론 네트워크에서 Brian 스파킹 신경망 시뮬레이터를 사용해 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 STDP로 훈련되는 순환 스파킹 신경망에서 웨이크-슬립 알고리즘이 가중치 군집을 완화할 수 있는가?
• RQ2 제안된 방법은 액터 상태를 유도하거나 추론 성능을 저하시키지 않으면서도 더 높은 학습률을 허용하는가?
• RQ3 알고리즘은 이미 가중치 군집을 보이는 네트워크에서 기존 군집을 제거할 수 있는가?
• RQ4 웨이크-슬립 알고리즘은 낮은 학습률 조건에서도 수렴 속도를 향상시키고 최종 추론 오차를 감소시키는가?
• RQ5 이 알고리즘의 효과성은 특정 네트워크 아키텍처에 종속되는가, 아니면 다양한 순환 스파킹 네트워크에 일반화 가능한가?

주요 결과

• 웨이크-슬립 알고리즘은 이전에 가능했던 것보다 최대 10배 높은 학습률을 사용하더라도 순환 스파킹 네트워크에서 가중치 군집의 형성을 성공적으로 방지한다.
• 이 방법은 기존에 악성 액터 상태로의 빠른 수렴을 유도할 가능성이 있는 높은 학습률을 허용함으로써, 유효한 훈련 영역을 넓힌다.
• 이미 군집 현상을 보이는 네트워크의 경우 슬립 단계에서 효과적으로 군집을 제거하며, 수초 내로 입력 및 순환 행렬의 바람직한 대각형 가중치 구조를 복원한다.
• 낮은 학습률 조건에서도 군집 문제가 발생하지 않는 상황에서, 표준 STDP보다 더 빠른 수렴 속도와 낮은 최종 추론 오차를 달성한다.
• 군집 제거 후 올바른 가중치 행렬 구조로의 복구 속도가 무작위 초기 가중치로부터의 훈련보다도 더 빠르며, 시냅스 가중치의 효율적 재조직화를 시사한다.
• 알고리즘이 성공한 이유는 네트워크의 내재된 순환 동역학을 생성 모델로 활용했기 때문이며, 최소한의 하이퍼파rameter 튜닝으로도 가능하며, 테스트된 아키텍처를 초월한 광범위한 적용 가능성을 시사한다.