[논문 리뷰] Network of Evolvable Neural Units: Evolving to Learn at a Synaptic Level

Paul Bertens, Seong-Whan Lee|arXiv (Cornell University)|2019. 12. 16.

Advanced Memory and Neural Computing참고 문헌 42인용 수 4

한 줄 요약

이 논문은 신경세포와 시냅스가 모두 독립적으로 진화하여 시냅스 수준에서 학습하는 데 목적이 있는 새로운 신경망 아키텍처인 유연성 신경 유닛(Evolve Neural Units, ENUs)을 제안한다. 진화 알고리즘을 사용해 동적이고 다중 채널의 시냅스 및 세타막(compartment)을 최적화함으로써, 모델은 적분-화염 동역학과 펄스 시차 의존성 가소성(Spike-Timing-Dependent Plasticity)을 학습하게 되며, 역전파(backpropagation)나 고정된 학습 규칙 없이도 T-미로 과제에서 단일 시도(one-shot) 강화학습을 가능하게 한다.

ABSTRACT

Although Deep Neural Networks have seen great success in recent years through various changes in overall architectures and optimization strategies, their fundamental underlying design remains largely unchanged. Computational neuroscience on the other hand provides more biologically realistic models of neural processing mechanisms, but they are still high level abstractions of the actual experimentally observed behaviour. Here a model is proposed that bridges Neuroscience, Machine Learning and Evolutionary Algorithms to evolve individual soma and synaptic compartment models of neurons in a scalable manner. Instead of attempting to manually derive models for all the observed complexity and diversity in neural processing, we propose an Evolvable Neural Unit (ENU) that can approximate the function of each individual neuron and synapse. We demonstrate that this type of unit can be evolved to mimic Integrate-And-Fire neurons and synaptic Spike-Timing-Dependent Plasticity. Additionally, by constructing a new type of neural network where each synapse and neuron is such an evolvable neural unit, we show it is possible to evolve an agent capable of learning to solve a T-maze environment task. This network independently discovers spiking dynamics and reinforcement type learning rules, opening up a new path towards biologically inspired artificial intelligence.

연구 동기 및 목표

• 생물학적으로 타당하고 학습 가능한 신경 구성 요소를 만들기 위해 계산 신경과학, 기계 학습, 진화 알고리즘을 융합하는 것.
• 고정된 가중치를 가진 심층 신경망과 정적 학습 규칙의 한계를 극복하기 위해 동적이고 다중 매개변수의 시냅스 및 뉴런 구성 요소를 진화시키는 것.
• 유연성 있는 단위로 구성된 네트워크가 진화 최적화를 통해 자율적으로 스파iking 동역학과 강화학습 메커니즘을 발견할 수 있는지 보여주는 것.
• 지역적 보상 신호에 기반한 적응형 시냅스 업데이트 규칙을 진화시켜 강화학습 환경에서 단일 시도 학습을 가능하게 하는 것.
• 복잡한 신경 행동, 예를 들어 기억과 회피 행동이 지역적이고 분산된 학습을 통해 유연성 있는 단위의 네트워크에서 어떻게 나타날 수 있는지 탐색하는 것.

제안 방법

• 모든 뉴런과 시냅스는 동적 내부 매개변수를 가진 자가 포함된 계산 단위인 유연성 신경 유닛(ENU)으로 모델링된다.
• ENUs는 T-미로 과제에서의 보상(즉, 적합도)에 기반해 내부 상태 전이 및 시냅스 업데이트 규칙을 최적화하는 유전자 알고리즘을 통해 진화된다.
• 시냅스 ENU는 고정된 곱셈이 아닌 다중 채널 동적 연산을 통해 전시냅스 뉴런의 입력을 처리하여 정보 변환의 유연성을 허용한다.
• 뉴런 ENU는 동적 임계값 메커니즘을 사용해 입력을 통합하며, 이는 자극성 및 억제성 행동을 모두 진화시킬 수 있다.
• 네트워크는 누적 보상에 기반한 적합도 함수를 사용하며, 여기서 에이전트는 색상과 음식 또는 독을 연관시키는 것을 학습해야 한다.
• 각 세대의 시작 시 ENU 내부의 매개변수 벡터는 재설정되며, 이는 표준 역전파와는 다를 바 있는 진정한 '학습을 위한 학습' 행동을 가능하게 한다.

실험 결과

연구 질문

• RQ1 독립적으로 진화된 신경세포 및 시냅스 단위의 네트워크가 적분-화염 행동과 같은 생물학적 스파이크 동역학을 모방해 학습할 수 있는가?
• RQ2 동일한 프레임워크가 진화 최적화를 통해 펄스 시차 의존성 가소성(STDP)과 같은 시냅스 가소성 규칙을 진화시킬 수 있는가?
• RQ3 ENUs로 구성된 네트워크가 역전파 없이 지역적이고 분산된 학습을 통해 강화학습 과제(예: T-미로)를 해결할 수 있는가?
• RQ4 에이전트가 보상 결과를 단 한 번 경험한 후에도 지속적인 행동 적응이 이루어지는가? 즉, 시스템이 단일 시도 학습을 보여주는가?
• RQ5 ENUs에서 다중 채널 동적 매개변수를 사용하면 고정된 가중치 네트워크보다 더 높은 정보 처리의 다양성과 생물학적 타당성을 달성할 수 있는가?

주요 결과

• 유연성 신경 유닛은 적분-화염 뉴런의 동역학, 즉 점진적 합산과 스파이크 생성을 성공적으로 재현하였다.
• 모델은 전형적인 펄스 시차 의존성 가소성(STDP)의 형태를 진화시켰으며, 시냅스 가중치가 전시냅스 및 후시냅스 스파이크의 시차에 따라 업데이트됨을 확인하였다.
• T-미로 환경에서 진화된 네트워크는 특정 색상과 음식 또는 독을 연관지켜 행동을 수정함으로써 강화학습을 달성하였다.
• 시스템은 단일 경험 이후에도 지속적인 행동 적응이 이루어지는 단일 시도 학습을 보였으며, 이는 표준 딥러닝 모델이 수백만 번의 시행이 필요한 것과 대비된다.
• 진화된 네트워크는 이전에 보상받았지만 해로운 행동(예: 독을 먹는 것)을 억제하는 억제성 시냅스 메커니즘을 보였으며, 이는 적응형 행동 제어를 가능하게 하였다.
• 다중 채널 동적 매개변수의 사용은 단순한 가중치 곱셈을 넘어서는 복잡한 비선형 시냅스 연산을 진화시킬 수 있게 하여 더 풍부한 정보 처리를 가능하게 하였다.