[논문 리뷰] Learning to learn with backpropagation of Hebbian plasticity

Thomas Miconi|arXiv (Cornell University)|2016. 09. 08.

Robot Manipulation and Learning참고 문헌 6인용 수 6

한 줄 요약

이 논문은 백프로파게이션을 통한 히브시안 플라스티시티(BOHP)를 소개하며, 기준 가중치와 플라스티시티 파라미터를 모두 백프로파게이션을 통해 훈련시킴으로써 신경망이 어떻게 학습할 수 있는지를 학습할 수 있도록 하는 방법을 제공한다. 히브시안 추적에 대한 분석적 기울기를 유도함으로써 BOHP는 빠르고 지속적인 학습을 통해 새로운 예측 불가능한 자극에 즉각적으로 적응할 수 있게 하며, 일회성 학습, 패턴 복원, 반전 학습 과제에서 뛰어난 성능을 달성한다.

ABSTRACT

Hebbian plasticity is a powerful principle that allows biological brains to learn from their lifetime experience. By contrast, artificial neural networks trained with backpropagation generally have fixed connection weights that do not change once training is complete. While recent methods can endow neural networks with long-term memories, Hebbian plasticity is currently not amenable to gradient descent. Here we derive analytical expressions for activity gradients in neural networks with Hebbian plastic connections. Using these expressions, we can use backpropagation to train not just the baseline weights of the connections, but also their plasticity. As a result, the networks "learn how to learn" in order to solve the problem at hand: the trained networks automatically perform fast learning of unpredictable environmental features during their lifetime, expanding the range of solvable problems. We test the algorithm on various on-line learning tasks, including pattern completion, one-shot learning, and reversal learning. The algorithm successfully learns how to learn the relevant associations from one-shot instruction, and fine-tunes the temporal dynamics of plasticity to allow for continual learning in response to changing environmental parameters. We conclude that backpropagation of Hebbian plasticity offers a powerful model for lifelong learning.

연구 동기 및 목표

• 히브시안 플라스티시티를 백프로파게이션과 통합함으로써 인공 신경망이 수명 주기 학습을 수행할 수 있도록 하는 것.
• 히브시안 플라스티시티 파라미터에 대한 분석적 기울기를 유도하여 표준 백프로파게이션을 통해 훈련이 가능하도록 하는 것.
• 추론 중에 새로운 예측 불가능한 환경적 특성에 자동으로 적응할 수 있도록 네트워크를 허용하여 문제 해결 능력을 확장하는 것.
• 플라스티시티 파라미터를 훈련시킴으로써 온라인 및 지속적 학습 시나리오에서 빠르고 적응형 학습이 가능하다는 것을 입증하는 것.

제안 방법

• 네트워크는 히브시안 추적으로서 전- 및 후-시냅스 활동의 유효 평균을 시간 상수 감쇠율 γ에 따라 정의한다.
• 각 타임스텝에서의 연결 강도는 고정 기준 가중치(w_k)와 플라스티시티 조절 성분(α_k × Hebb_k)의 조합이다.
• 출력 활동에 대한 w_k 및 α_k에 대한 분석적 기울기를 유도하였으며, 재귀적 표현을 통해 시간 의존성을 고려하였다.
• 기울기 방정식은 재귀적이며 과거 활동과 히브시안 추적에 의존하므로 타임스텝을 거슬러 백프로파게이션을 가능하게 한다.
• 표준 백프로파게이션을 사용하여 기준 가중치와 플라스티시티 파라미터를 동시에 훈련시킬 수 있도록 지원한다.
• 기울기 방정식을 적절히 수정함으로써 다른 히브시안 규칙(예: 인스타, 아웃스타, BCM)에도 일반화 가능하다.

실험 결과

연구 질문

• RQ1 인공 신경망의 히브시안 플라스티시티를 백프로파게이션을 통해 미분 가능하고 훈련 가능하게 만들 수 있는가?
• RQ2 플라스티시티 파라미터를 훈련시키면 네트워크가 새로운 예측 불가능한 입력에 대해 일회성 학습을 신속히 수행할 수 있는가?
• RQ3 환경 조건이 변화하는 상황에서 네트워크가 플라스티시티의 시간적 동역학을 적응시켜 지속적 학습을 지원할 수 있는가?
• RQ4 플라스티시티 파라미터를 백프로파게이션하면 고정된 플라스티시티보다 온라인 학습 과제에서 성능이 향상되는가?

주요 결과

• 논문은 히브시안 플라스티시티를 갖는 네트워크에서 기준 가중치와 플라스티시티 파라미터에 대한 분석적 기울기를 성공적으로 유도하였으며, 종단 간 백프로파게이션을 가능하게 하였다.
• 이 방법은 네트워크가 플라스티시티 자체를 백프로파게이션을 통해 훈련함으로써 새로운 자극에 즉각적으로 적응할 수 있도록 하며, 학습을 학습하는 능력을 부여한다.
• 일회성 학습 과제에서는 BOHP 네트워크가 새로운 패턴에 최소한의 노출으로도 높은 정확도를 달성하여 빠른 적응 능력을 입증하였다.
• 반전 학습 과제에서는 환경 규칙이 변경되었을 때 네트워크가 플라스티시티 동역학을 재조정하여 적절히 반응함을 보였다.
• 알고리즘은 경험 기반의 지속적 적응을 가능하게 하여 신경망이 해결할 수 있는 문제의 범위를 성공적으로 확장하였다.
• 이 방법은 기울기 표현을 적절히 수정함으로써 다른 히브시안 학습 규칙으로도 일반화 가능하다.