[논문 리뷰] Backpropamine: training self-modifying neural networks with differentiable neuromodulated plasticity

Thomas Miconi, Aditya Rawal외 2명|arXiv (Cornell University)|2020. 02. 24.

EEG and Brain-Computer Interfaces인용 수 35

한 줄 요약

이 논문은 Backpropamine을 소개합니다, differentiable neuromodulated plasticity를 이용한 기울기 하강 학습 가능한 프레임워크로, 자기 수정 신경망을 가능하게 하고 RL 작업과 대형 언어 모델링 작업에서 이득을 보입니다.

ABSTRACT

The impressive lifelong learning in animal brains is primarily enabled by plastic changes in synaptic connectivity. Importantly, these changes are not passive, but are actively controlled by neuromodulation, which is itself under the control of the brain. The resulting self-modifying abilities of the brain play an important role in learning and adaptation, and are a major basis for biological reinforcement learning. Here we show for the first time that artificial neural networks with such neuromodulated plasticity can be trained with gradient descent. Extending previous work on differentiable Hebbian plasticity, we propose a differentiable formulation for the neuromodulation of plasticity. We show that neuromodulated plasticity improves the performance of neural networks on both reinforcement learning and supervised learning tasks. In one task, neuromodulated plastic LSTMs with millions of parameters outperform standard LSTMs on a benchmark language modeling task (controlling for the number of parameters). We conclude that differentiable neuromodulation of plasticity offers a powerful new framework for training neural networks.

연구 동기 및 목표

• 생물학적 강화 학습에서 영감을 받은 기울기 하강 학습 가능 메커니즘으로 뉴모듀레이션된 가소성을 동기화하고 모델링하는 것을 목표로 합니다.
• 가소성의 순간별 뉴모듀레이션을 포함하도록 차별화 가능한 가소성을 확장합니다.
• 강화 학습 과제와 언어 모델링에서 가소성과 뉴모듀레이션의 성능 이점을 입증합니다.

제안 방법

• 각 연결이 고정 가중치 wij와 alpha_ij Hebb_ij를 통한 가소성 성분을 가지는 차별적 Hebbian 가소성 위에 구성하며 Hebb_ij(t+1)=Clip(Hebb_ij(t)+η x_i(t-1)x_j(t))로 업데이트됩니다.
• 가소성 변화를 스케일링하는 뉴모듀레이션 M(t)을 도입합니다; 간단한 뉴모듀레이션은 Hebbian 업데이트에서 η를 M(t)로 대체합니다.
• Eligiblity traces를 사용하는 대안을 제공합니다. Hebb_ij(t+1)=Clip(Hebb_ij(t)+M(t)E_ij(t)) 및 E_ij(t+1)=(1-η)E_ij(t)+η x_i(t-1)x_j(t).
• 두 가지 작업 변형을 설명합니다: 간단한 전역 뉴모듀레이션과 Eligibility traces를 통한 회고적 뉴모듀레이션.
• 강화 학습 및 언어 모델링 과제에 이 프레임워크를 적용하며, 뉴모듀레이션된 가소성이 포함된 Penn Tree Bank LSTM 설정을 포함합니다.
• 참고: 가소성은 순환 가중치에만 적용되며 입력/출력은 비가소성으로 남습니다.

실험 결과

연구 질문

• RQ1 Differentiable neuromodulated plasticity가 RL 및 감독 학습 과제에서 비가소성 및 비모듈레이션 가소성 네트워크 대비 학습 성능을 향상시키나요?
• RQ2 Gradient descent가 자가 수정 가소성을 가진 네트워크를 최적화하여 PTB에서 더 나은 언어 모델링 perplexity를 달성할 수 있나요?
• RQ3 간단한 뉴모듀레이션과 회고적(eligibility-trace) 모듈레이션이 성능 및 안정성에서 어떻게 비교되나요?
• RQ4 다양한 과제에서 뉴모듀레이션된 가소성이 만들어내는 행동적 신호와 학습 역학은 무엇인가요?

주요 결과

• 뉴모듀레이션된 가소성 네트워크가 큐-보상 연결 과제에서 비모듈레이션 및 비가소성 네트워크를 능가합니다.
• 뉴모듀레이션은 비모듈레이션 가소성에 비해 미로 탐색 성능도 향상시킵니다.
• 언어 모델링에서 차별적 가소성을 가진 LSTM이 기준 LSTM보다 성능이 우수하며, 뉴모듀레이션을 추가하면 perplexity가 추가로 감소합니다.
• 회고적 뉴모듀레이션(eligibility traces)은 간단한 모듈레이션에 비해 perplexity를 더 개선합니다.
• Table 1은 실험에서 뉴모듀레이션된 가소성 LSTM이 모델 간의 베이스라인보다 더 낮은 테스트 perplexity를 얻은 것을 보여줍니다.