[논문 리뷰] Differentiable plasticity: training plastic neural networks with backpropagation

Thomas Miconi, Jeff Clune외 1명|arXiv (Cornell University)|2018. 04. 06.

Advanced Memory and Neural Computing인용 수 92

한 줄 요약

논문은 gradient descent를 통해 trainable plasticity(Hebbian traces)를 가진 신경망을 학습시켜 패턴 기억화, 원샷 Omniglot 분류, 미로 강화 학습 과제에서 빠른 평생 학습을 가능하게 하며, 종종 비가소성 baselines보다 우수하게 만든다.

ABSTRACT

How can we build agents that keep learning from experience, quickly and efficiently, after their initial training? Here we take inspiration from the main mechanism of learning in biological brains: synaptic plasticity, carefully tuned by evolution to produce efficient lifelong learning. We show that plasticity, just like connection weights, can be optimized by gradient descent in large (millions of parameters) recurrent networks with Hebbian plastic connections. First, recurrent plastic networks with more than two million parameters can be trained to memorize and reconstruct sets of novel, high-dimensional 1000+ pixels natural images not seen during training. Crucially, traditional non-plastic recurrent networks fail to solve this task. Furthermore, trained plastic networks can also solve generic meta-learning tasks such as the Omniglot task, with competitive results and little parameter overhead. Finally, in reinforcement learning settings, plastic networks outperform a non-plastic equivalent in a maze exploration task. We conclude that differentiable plasticity may provide a powerful novel approach to the learning-to-learn problem.

연구 동기 및 목표

• 생물학에서 영감을 받은 시냅스 가소성을 통해 평생 학습의 필요성을 제시한다.
• 각 연결마다 고정 성분과 가소성 성분을 가지는 미분 가능 가소성 프레임워크를 도입한다.
• 다양한 과제들(패턴 기억화, Omniglot, 강화 학습)에서 가소성 매개변수의 그래디언트 기반 최적화를 시연한다.
• 학습된 가소성이 비가소성 상대보다 복잡한 기억 과제에서 더 나은 성능을 보여주고 메타 학습 벤치마크에서도 경쟁력을 갖는지 보여준다.

제안 방법

• 각 연결에 고정 가중치 w_ij와 가소성 구성요소 alpha_ij * Hebb_ij를 두고, Hebb_ij가 프리-시냅스와 포스트-시냅스 활동을 추적하도록 정의한다.
• Hebb_ij의 재귀적 업데이트를 사용한다. 예: Hebb_ij(t+1) = eta * x_i(t-1) * x_j(t) + (1 - eta) * Hebb_ij(t) (또는 감쇠가 없는 대안인 Oja의 규칙 variant).
• 전체 유효 가중치는 w_ij + alpha_ij * Hebb_ij로 되어 고정 경로와 가소 경로를 모두 가능하게 한다.
• 에피소드를 통해 역전파로 w_ij와 alpha_ij를 최적화하며, 가소성 학습률 eta는 공유되고 학습된다.
• 다양한 과제에서 테스트한다: 이진 패턴 기억화, 자연 이미지 기억화(CIFAR-10), Omniglot 원샷 분류, 그리고 미로 탐색 RL 과제.

실험 결과

연구 질문

• RQ1 미분 가능 가소성을 대규모(백만 개 매개변수)로 역전파로 학습할 수 있는가?
• RQ2 학습된 가소성이 고정 가중치에만 의존하지 않고 빠른 기억 형성과 패턴 재구성을 가능하게 하는가?
• RQ3 Omniglot 및 강화 학습 과제에서 미분 가능 가소성이 확립된 메타 학습 방법들과 경쟁력이 있는가?
• RQ4 연결별 가소성 구조(independent alpha_ij)가 공유 가소성에 비해 성능에 어떤 차이를 만드는가?
• RQ5 가소 신경망이 복잡한 기억화 과제에서 비가소성 순환 신경망(RNN/LSTM)보다 뛰어난가?

주요 결과

방법	작업/데이터셋	지표	값
DP (Ours)	Omniglot 5-way 1-shot	Accuracy	98.3% ± 0.80

• 가소 가능성을 가진 플라스틱 네트워크는 비가소적 RNN 및 LSTM이 어려워하는 고차원 패턴 기억화를 해결하며, 종종 더 빠르다(예: 2,000 vs 500,000 에피소드).
• 자연 이미지 기억화에서 학습된 가소성은 구조화된 Hebb 행렬을 도출하고 고정-가소성 기준선보다 우수한 성능을 보이며, 독립적 alpha가 공유 alpha보다 성능을 향상시킨다.
• Omniglot 5-way 1-shot 분류에서 가소 연결을 사용해 98.3%의 정확도(95% CI ±0.80)를 달성하며, 여러 메타 학습 방법과 경쟁하며 비교적 적은 매개변수 오버헤드를 요구한다.
• 미로 강화 학습 과제에서 미분 가능 가소성은 비가소성 및 동질 가소 네트워크보다 성능이 향상되어 연결별 가소성 커스터마이징의 이점을 시사한다.
• 그 연구는 그래디언트 하강이 가소성 규칙 자체를 최적화할 수 있음을 보여주며, 전통적인 고정 가중치 네트워크를 넘는 효과적인 메타 학습 및 기억 강화 연산을 가능하게 한다.