[논문 리뷰] Learning to Learn with Feedback and Local Plasticity

Jack Lindsey, Ashok Litwin-Kumar|arXiv (Cornell University)|2020. 06. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 7

한 줄 요약

이 논문은 역전파의 생물학적으로 불합리한 가중치 운반과 국소적이지 않은 성질을 피하기 위해 피드백 연결과 국소적 유연성 규칙을 사용하여 딥 네트워크를 학습시키는 메타학습 프레임워크를 제안한다. 이 방법은 온라인 및 지속적 학습 과제에서 기울기 기반 메타학습과 비슷하거나 더 뛰어난 성능을 보이며, 간섭을 줄이고 효율적인 책임 할당을 가능하게 하기 때문에 피드백 기반 학습이 역전파를 능가할 수 있음을 보여준다.

ABSTRACT

Interest in biologically inspired alternatives to backpropagation is driven by the desire to both advance connections between deep learning and neuroscience and address backpropagation's shortcomings on tasks such as online, continual learning. However, local synaptic learning rules like those employed by the brain have so far failed to match the performance of backpropagation in deep networks. In this study, we employ meta-learning to discover networks that learn using feedback connections and local, biologically inspired learning rules. Importantly, the feedback connections are not tied to the feedforward weights, avoiding biologically implausible weight transport. Our experiments show that meta-trained networks effectively use feedback connections to perform online credit assignment in multi-layer architectures. Surprisingly, this approach matches or exceeds a state-of-the-art gradient-based online meta-learning algorithm on regression and classification tasks, excelling in particular at continual learning. Analysis of the weight updates employed by these models reveals that they differ qualitatively from gradient descent in a way that reduces interference between updates. Our results suggest the existence of a class of biologically plausible learning mechanisms that not only match gradient descent-based learning, but also overcome its limitations.

연구 동기 및 목표

• 역전파의 가중치 운반과 시냅스 학습에서의 비국소성으로 인한 생물학적 비합리성 문제를 해결하기 위해.
• 기울기 하강법에 의존하지 않고 효과적인 온라인 및 지속적 학습을 가능하게 하는 생물학적으로 영감을 받은 학습 메커니즘을 개발하기 위해.
• 피드백 연결과 국소적 유연성 규칙을 조합하여 역전파 수준의 책임 할당을 달성할 수 있는지 조사하기 위해.
• 메타학습이 간섭 감소 및 일반화 능력 측면에서 기울기 하강법을 능가하는 학습 규칙을 발견할 수 있는지 탐색하기 위해.

제안 방법

• 메타학습을 통해 피드백 가중치, 전방향 가중치 초기화 및 유연성 비율을 조정하여 국소적 학습 규칙을 안내한다.
• 피드백 가중치가 전방향 가중치와 연결되지 않도록 하여 가중치 운반 문제를 피한다.
• 피드백에 의해 조절된 활동을 기반으로 국소적 헤브시안 유사 유연성 규칙을 전방향 네트워크에 적용하여 가중치를 업데이트한다.
• 메타학습자를 전체 학습 과정을 거쳐 역전파를 통해 훈련시켜 온라인 과제에서 빠르고 안정적인 학습을 최적화한다.
• 메타최적화(외부 루프)와 온라인 학습(내부 루프)의 이중 루프 최적화를 사용하며, 피드백 기반 유연성에 기반한다.
• 목표 정보를 출력층에서 은닉층으로 전달하는 피드백 경로를 사용하여 국소 업데이트를 조절하지만, 전역 기울기 정보가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 비대칭 피드백 가중치를 갖는 피드백 연결이 역전파 없이 다층 네트워크에서 효과적인 책임 할당을 가능하게 할 수 있는가?
• RQ2 메타학습된 피드백 경로는 기울기 하강법과 질적으로 다른 학습 역학을 유도하는가?
• RQ3 메타학습된 피드백과 함께 국소적 유연성 규칙이 기울기 기반 메타학습보다 지속적 학습에서 더 나은 성능을 내는가?
• RQ4 피드백 조절 학습 과정이 표준 역전파와 비교해 업데이트 간의 간섭을 어떻게 줄이는가?
• RQ5 생물학적으로 타당한 학습 메커니즘이 온라인 학습 및 소수의 샘플 학습에서 기울기 기반 방법의 성능을 따라하거나 능가할 수 있는가?

주요 결과

• 메타학습된 피드백 네트워크는 전적으로 국소적 유연성과 비대칭 피드백 가중치만을 사용하여 다층 아키텍처에서 온라인 책임 할당을 성공적으로 수행한다.
• 피드백 기반 학습 메커니즘은 회귀 및 분류 과제에서 최신 기술 기반 기울기 기반 온라인 메타학습 알고리즘과 동등하거나 이를 초월한다.
• 지속적 학습에서 뛰어난 안정성과 업데이트 간의 간섭 감소를 보이며, 기울기 하강법보다 뛰어난 성능을 보인다.
• 피드백-유연성 네트워크의 가중치 업데이트 방식은 기울기 하강법과 질적으로 다름을 보이며, 다른 학습 인덕티브 바이어스를 시사한다.
• 가중치 대칭성과 비국소적 기울기 정보와 같은 생물학적으로 비합리적인 요구 사항을 피함으로써 생물학적 타당성을 향상시킨다.
• 수명 주기 동안 피드백 가중치가 고정되어 있어도 성능이 유지됨을 보여, 높은 성능을 달성하기 위해 피드백이 반드시 유연할 필요는 없다.