[논문 리뷰] Finding online neural update rules by learning to remember

Karol Gregor|arXiv (Cornell University)|2020. 03. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 6

한 줄 요약

이 논문은 백프로파게이션 또는 진화를 사용하지 않고 과거 경험을 기억하는 메타네트워크를 훈련시켜 온라인 신경 업데이트 규칙을 학습하는 새로운 방법을 제안한다. 이 방법은 뉴런 유형을 위한 학습 가능한 임베딩을 사용하고, 메모리 목표에 대해 단기 백프로파게이션을 통해 업데이트 함수를 훈련시으며, 생물학적으로 타당한 학습 규칙을 도출한다. 이러한 규칙은 네트워크 크기와 작업 유형 간에 일반화된다.

ABSTRACT

We investigate learning of the online local update rules for neural activations (bodies) and weights (synapses) from scratch. We represent the states of each weight and activation by small vectors, and parameterize their updates using (meta-) neural networks. Different neuron types are represented by different embedding vectors which allows the same two functions to be used for all neurons. Instead of training directly for the objective using evolution or long term back-propagation, as is commonly done in similar systems, we motivate and study a different objective: That of remembering past snippets of experience. We explain how this objective relates to standard back-propagation training and other forms of learning. We train for this objective using short term back-propagation and analyze the performance as a function of both the different network types and the difficulty of the problem. We find that this analysis gives interesting insights onto what constitutes a learning rule. We also discuss how such system could form a natural substrate for addressing topics such as episodic memories, meta-learning and auxiliary objectives.

연구 동기 및 목표

• 백프로파게이션 또는 진화에 의존하지 않고, 처음부터 온라인이고 국소적인 신경 활성도 및 가중치 업데이트 규칙을 발견하는 것.
• 메모리 기반 목표가 학습 규칙을 학습하기 위한 더 실현 가능하고 생물학적으로 타당한 훈련 신호로 기능할 수 있는지 탐색하는 것.
• 다양한 뉴런 유형 간 공유되는 메타파rameter가 학습 규칙의 일반화를 어떻게 지원하는지 조사하는 것.
• 학습된 업데이트 규칙이 네트워크 크기에 따라 확장 가능하고 다양한 학습 작업을 지원할 수 있는지 분석하는 것.
• 향후 에피소딕 메모리, 메타학습, 보조 목표를 위한 신경망 연구의 기반을 마련하는 것.

제안 방법

• 뉴런 활성도와 시냅스 상태를 작은 벡터로 표현하고, (메타-)신경망을 통해 업데이트를 매개변수화하는 방식.
• 다양한 뉴런 유형을 위한 학습 가능한 임베딩 벡터를 사용하여 뉴런 유형 간에 동일한 업데이트 규칙 함수를 공유하는 방식.
• 과거 경험 스니펫을 기억하는 데 집중된 짧은 기간의 백프로파게이션 목표를 사용해 업데이트 규칙을 훈련하는 방식.
• 지역적 전처리 및 후처리 상태 및 임베딩에만 의존하는 국소적, 시냅스적, 뉴런적 업데이트 함수로 업데이트 과정을 분해하는 방식.
• 모든 뉴런에 동일한 메타네트워크를 적용하고, 유형별 임베딩이 업데이트 동역학을 조절하는 방식.
• 내부 상태가 크지만 메타파rameter 수는 적은, 순환 네트워크 아키텍처를 사용하여 하이퍼네트워크와 유사한 방식으로 제어하는 방식.

실험 결과

연구 질문

• RQ1 장기간의 시퀀스에서 직접 백프로파게이션 없이도 메모리 기반 목표가 신경 업데이트 규칙을 효과적으로 훈련시킬 수 있는가?
• RQ2 단일 세트의 메타파rameter가 다양한 네트워크 크기와 작업 간에 얼마나 일반화되는가?
• RQ3 뉴런 유형 임베딩이 학습된 업데이트 규칙과 그 일반화 능력에 어떤 영향을 미치는가?
• RQ4 학습-기억 목표와 표준 백프로파게이션 또는 다른 학습 철학 간의 관계는 어떠한가?
• RQ5 이 프레임워크가 인공 신경망에서 에피소딕 메모리, 메타학습 또는 보조 목표의 기초로 기능할 수 있는가?

주요 결과

• 학습-기억 목표가 다양한 네트워크 크기와 작업 간에 일반화되는 업데이트 규칙을 성공적으로 훈련시켜 학습의 核심 요소를 포괄하고 있음을 시사한다.
• 작은 네트워크를 사용해도 시퀀스 기억 작업에서 뛰어난 성능을 달성하여, 제한된 능력에도 불구하고 규칙이 효과적임을 나타낸다.
• 네트워크 크기가 증가해도 성능 향상이 없었으며, 이는 확장성에 한계가 있음을 시사하며, 입력층의 자기 연결에 과도하게 의존할 수 있음을 암시한다.
• 최적화 과정에서 문제를 관찰하였으며, 더 큰 네트워크일수록 더 적게 학습되는 경향이 있었고, 이는 훈련의 불안정성을 시사한다.
• 유효한 학습 규칙의 조건에 대한 통찰을 제공하며, 일반화와 파라미터 효율성의 중요성을 강조한다.
• 이 방법은 에피소딕 메모리와 메타학습에 자연스럽게 기반을 제공하며, 현재 실험을 넘어서 광범위한 적용 가능성을 암시한다.