[논문 리뷰] Hebbian Synaptic Modifications in Spiking Neurons that Learn

Peter L. Bartlett, Jonathan Baxter|arXiv (Cornell University)|2019. 11. 17.

Advanced Memory and Neural Computing참고 문헌 18인용 수 16

한 줄 요약

이 논문은 직접 강화학습 알고리즘에서 유도된, 장기 보상 최대화를 통해 학습하는 생물학적으로 타당한 스파iking 뉴런을 위한 시냅스 가소성 규칙을 제안한다. 이 규칙은 전방전파 없이도 국소적 최적 성능을 달성하며, 전방전파 또는 기울기 계산 없이도 작동한다. 규칙은 전후성 활동과 전역적 보상 신호만을 사용한다.

ABSTRACT

In this paper, we derive a new model of synaptic plasticity, based on recent algorithms for reinforcement learning (in which an agent attempts to learn appropriate actions to maximize its long-term average reward). We show that these direct reinforcement learning algorithms also give locally optimal performance for the problem of reinforcement learning with multiple agents, without any explicit communication between agents. By considering a network of spiking neurons as a collection of agents attempting to maximize the long-term average of a reward signal, we derive a synaptic update rule that is qualitatively similar to Hebb's postulate. This rule requires only simple computations, such as addition and leaky integration, and involves only quantities that are available in the vicinity of the synapse. Furthermore, it leads to synaptic connection strengths that give locally optimal values of the long term average reward. The reinforcement learning paradigm is sufficiently broad to encompass many learning problems that are solved by the brain. We illustrate, with simulations, that the approach is effective for simple pattern classification and motor learning tasks.

연구 동기 및 목표

• 스파iking 뉴런을 위한 시냅스 가소성 규칙을 개발하여 생물학적으로 타당하고 장기 성능 최적화가 가능한 것을 목표로 한다.
• 강화학습 원리가 국소적 신호와 전역적 보상만을 필요로 하는 히브시안 유사 업데이트 규칙을 도출할 수 있음을 보여주고자 한다.
• 이 규칙이 전방전파 없이도 패턴 분류 및 적응 제어 작업에서 효과적인 학습을 가능하게 함을 입증하고자 한다.
• 이러한 규칙이 신경망에서 국소적으로 최적의 시냅스 가중치로 이어지는 이론적 기반을 확립하고자 한다.

제안 방법

• 스파iking 뉴런에 적합하게 조정된 직접 강화학습 알고리즘, 특히 REINFORCE 계열을 기반으로 한 시냅스 업데이트 규칙을 유도한다.
• 전역적으로 가용하지만 업데이트 규칙에서는 국소적으로 적용되는 보상 신호를 사용하여 생물학적 타당성을 확보한다.
• 각 뉴런이 국소적 활동과 전역적 보상에 기반해 자신의 시냅스 가중치를 최적화하는 협력적 에이전트 집합으로 구성된 스파이킹 뉴런 네트워크에 규칙를 적용한다.
• 복잡한 기울기 역전파를 피하기 위해 누설 적분과 간단한 덧셈 연산을 사용해 유전성 트레이스를 계산한다.
• 업데이트의 시간 감도를 제어하는 파라미터 β를 도입하였으며, 일정한 입력 패턴에서 β = 0.5가 최적임을 확인하였다.
• 각 시냅스가 근처의 전후성 활동과 전역적 보상만을 사용하여 독립적으로 업데이트될 수 있도록 학습 규칙을 분해한다.

실험 결과

연구 질문

• RQ1 강화학습 기반의 시냅스 가소성 규칙을 유도할 수 있는가? 이 규칙은 생물학적으로 타당하고 스파이킹 신경망에서 효과적인 학습이 가능한가?
• RQ2 전후성 활동과 전역적 보상만을 사용하는 국소적 시냅스 업데이트 규칙이 신경 회로에서 국소적으로 최적의 성능을 달성하는가?
• RQ3 이러한 규칙이 전방전파 또는 기울기 계산 없이도 패턴 분류 및 운동 제어와 같은 작업에서 학습을 달성할 수 있는가?
• RQ4 보상 신호의 시간 구조와 시냅스 유전성 트레이스의 영향이 학습 성능에 어떻게 작용하는가?

주요 결과

• 제안된 시냅스 업데이트 규칙은 소나 패턴 분류 작업에서 학습 오차 약 10%를 기록하였으며, 표준 전방전파 방법과 유사한 성능를 보였다.
• 역행자전도 제어 작업에서 알고리즘이 성공적으로 펜듈럼을 균형 잡는 데 학습하였으며, 낙하하기까지의 평균 시간이 시뮬레이션 시간에 따라 증가하였다.
• 역행자전도 작업의 학습 곡선은 점진적인 향상을 보였으며, 약 2000초의 시뮬레이션 후 성능가 안정화되었다.
• 네트워크 전방으로 기울기 정보가 역전파되지 않은 채 효과적인 학습이 달성되었다.
• 소나 분류 작업에서 100회의 독립적인 실행 전반에서 규칙은 일관된 성능를 보였으며 오차율의 변동성이 매우 낮았다.
• 일정한 입력 패턴에서 시간 감쇠 파라미터 β의 최적 값은 0.5로 확인되었으며, 이는 시간 감도와 안정성 사이의 균형을 잘 맞추었다.