[논문 리뷰] Meta-Learning through Hebbian Plasticity in Random Networks

Elias Najarro, Sebastian Risi|arXiv (Cornell University)|2020. 07. 06.

Advanced Memory and Neural Computing참고 문헌 58인용 수 22

한 줄 요약

이 논문은 무작위로 초기화된 신경망에 대해 시냅스별 히브스 학습 규칙을 진화시키는 메타학습 접근법을 제안한다. 이는 명시적 보상 없이도 수명 주기 동안 지속적인 적응을 가능하게 하며, 시각 기반 및 3D 운동 과제에서 빠르고 견고한 성능을 달성한다. 예를 들어, 손상된 4족 보행 로봇을 탐색하는 데 100단계 이내로 적응을 이룬다. 이는 국소적이고 히브스 학습 규칙을 통해 가중치가 스스로 조직화되며, 가중치 공간에서 고성능의 안착점으로 수렴하기 때문이다.

ABSTRACT

Lifelong learning and adaptability are two defining aspects of biological agents. Modern reinforcement learning (RL) approaches have shown significant progress in solving complex tasks, however once training is concluded, the found solutions are typically static and incapable of adapting to new information or perturbations. While it is still not completely understood how biological brains learn and adapt so efficiently from experience, it is believed that synaptic plasticity plays a prominent role in this process. Inspired by this biological mechanism, we propose a search method that, instead of optimizing the weight parameters of neural networks directly, only searches for synapse-specific Hebbian learning rules that allow the network to continuously self-organize its weights during the lifetime of the agent. We demonstrate our approach on several reinforcement learning tasks with different sensory modalities and more than 450K trainable plasticity parameters. We find that starting from completely random weights, the discovered Hebbian rules enable an agent to navigate a dynamical 2D-pixel environment; likewise they allow a simulated 3D quadrupedal robot to learn how to walk while adapting to morphological damage not seen during training and in the absence of any explicit reward or error signal in less than 100 timesteps. Code is available at https://github.com/enajx/HebbianMetaLearning.

연구 동기 및 목표

• 단지 히브스 학습 규칙만을 사용하여 수명 주기 동안 지속적인 적응이 가능한 메타학습 프레임워크를 개발하는 것.
• 무작위로 초기화된 네트워크가 진화된 국소적 학습 규칙을 통해 복잡한 강화학습 과제에서 높은 성능을 달성할 수 있는지 조사하는 것.
• 히브스 학습 규칙이 명시적 보상 신호 없이도 예측할 수 없는 형태적 손상에 대해 신속하게 적응할 수 있도록 하는 것.
• 강화학습에서 네트워크 가중치가 아니라 학습 가능한 주요 구성요소로 학습 규칙을 사용할 수 있는 잠재력을 탐색하는 것.
• 정적이고 사전 훈련된 가중치가 성능을 위해 필수적이라는 가정을 도전함으로써 뉴로모르픽 학습의 새로운 연구 방향을 제안하는 것.

제안 방법

• 신경진화 기반 방법을 사용해 연결 고리별 히브스 학습 규칙을 진화시키며, 강화학습 과제에서의 성능을 최적화한다.
• 네트워크는 균일 분포 U[-0.1, 0.1]에서 무작위로 초기화되며, 사전 훈련이나 미세조정 없이 진행된다.
• 학습 규칙은 국소적인 전시냅스 및 후시냅스 활동 상관관계에 기반하며, 원칙은 Δw ∝ pre × post 이다.
• 학습 규칙은 에이전트 배포 기간 동안 지속적으로 적용되어 에이전트 수명 주기 내내 동적 가중치 업데이트를 가능하게 한다.
• 다양한 무작위 초기화 및 과제 인스턴스를 거쳐 학습 규칙을 최적화하기 위해 미분 가능한 진화 전략을 사용한다.
• 성능 평가가 시각 기반 제어(CarRacing) 및 3D 4족 보행 과제에서 이루어지며, 훈련 중에 볼 수 없었던 형태적 손상도 포함된다.

실험 결과

연구 질문

• RQ1 무작위 네트워크에서 진화된 히브스 학습 규칙이 복잡한 강화학습 과제에서 보상 없이도 신속하게 적응할 수 있는가?
• RQ2 이러한 네트워크가 일반화 능력과 형태적 손상에 대한 저항성에서 고정 가중치 네트워크를 능가할 수 있는가?
• RQ3 히브스 규칙을 통한 자기조직화가 가중치 공간에서 안정적이고 고성능의 가중치 안착점으로 수렴하는가?
• RQ4 대부분의 가중치가 0으로 설정된 경우 진화된 히브스 네트워크의 성능가 얼마나 견고한가?
• RQ5 국소적이고 백프로파게이션을 통하지 않는 학습 메커니즘이 복잡한 제어 과제에서 기울기 기반 방법과 유사한 성능을 달성할 수 있는가?

주요 결과

• 히브스 네트워크는 CarRacing 환경에서 100회의 전부에서 높은 성능를 기록하여 견고성과 일관성을 입증하였다.
• 3D 4족 보행 과제에서, 히브스 네트워크는 훈련 중에 경험하지 못한 형태적 손상에 성공적으로 적응했지만, 고정 가중치 네트워크는 실패했다.
• 배포 중에 명시적 보상이나 오차 신호가 없음에도 불구하고, 적응이 100단계 이내로 이루어졌다.
• 진화된 히브스 규칙은 가중치 공간에서 안정적인 안착점으로 수렴시켜 신속한 성능 향상을 가능하게 했다.
• 히브스 네트워크는 최대 50%의 가중치가 무작위로 0으로 설정된 상태에서도 기능하고 적응할 수 있었으며, 높은 내구성을 보였다.
• 특히 동적인 예측 불가능한 조건에서 성능 및 적응 가능성 면에서 정적 가중치 네트워크를 능가하는 성과를 보였다.