[논문 리뷰] Learning to Continually Learn

Shawn Beaulieu, L. Frati외 5명|arXiv (Cornell University)|2020. 02. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 70

한 줄 요약

본 논문은 신경조절 모듈화 아키텍처(ANML)를 메타학습하여 파괴적 망각 없이 지속적 학습을 가능하게 하고, 연속 600개 클래스까지 확장한다. OML 및 scratch/사전학습 기준선과 같은 기존 방법보다 성능이 우수하다.

ABSTRACT

Continual lifelong learning requires an agent or model to learn many sequentially ordered tasks, building on previous knowledge without catastrophically forgetting it. Much work has gone towards preventing the default tendency of machine learning models to catastrophically forget, yet virtually all such work involves manually-designed solutions to the problem. We instead advocate meta-learning a solution to catastrophic forgetting, allowing AI to learn to continually learn. Inspired by neuromodulatory processes in the brain, we propose A Neuromodulated Meta-Learning Algorithm (ANML). It differentiates through a sequential learning process to meta-learn an activation-gating function that enables context-dependent selective activation within a deep neural network. Specifically, a neuromodulatory (NM) neural network gates the forward pass of another (otherwise normal) neural network called the prediction learning network (PLN). The NM network also thus indirectly controls selective plasticity (i.e. the backward pass of) the PLN. ANML enables continual learning without catastrophic forgetting at scale: it produces state-of-the-art continual learning performance, sequentially learning as many as 600 classes (over 9,000 SGD updates).

연구 동기 및 목표

• 연쇄적 망각 없이 지속적 평생 학습의 필요성 제시 및 형식화.
• 활성화를 게이트하고 선택적 가소성을 제어하기 위한 메타학습된 신경조절 아키텍처를 제안한다.
• Omniglot에서 수백 개의 순차 태스크로의 확장 가능성을 시연한다.
• ANML을 OML, 프리트레이닝 및 처음부터 학습하는 baselines를 포함한 기준선과 비교한다.

제안 방법

• 맥락 의존적 활성화를 통해 예측 네트워크(PLN)의 순전파를 게이트하는 신경조절(NM) 네트워크를 도입한다.
• 외부 루프에서 NM와 PLN 초기화를 메타학습한다; 내부 루프 업데이트는 NM 게이팅에 의해 영향을 받는 일부 PLN 가중치만 수정한다.
• 온라인 인지형 메타학습(OML) 목적함수를 사용하여 내부 루프 SGD 단계에서 이전 클래스들을 잊지 않고 새로운 클래스를 학습하는 것을 보상한다.
• Omniglot으로 메타학습 및 메타테스트를 평가하고, 기억 집합을 샘플링하여 인터리브 학습을 근사하고 망각을 방지한다.
• ANML을 OML, Training from Scratch, Pretraining and Transfer, 그리고 OML 변형을 포함한 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 메타학습으로 학습된 신경조절 게이팅 메커니즘이 순차 태스크 학습에서 파괴적 망각을 줄일 수 있는가?
• RQ2 맥락 의존적 게이팅이 선택적 활성화와 선택적 가소성을 가능하게 하여 지속 학습을 수백 개의 클래스까지 확장할 수 있는가?
• RQ3 메타테스트 학습 및 메타테스트 테스트 성능 측면에서 Omniglot에서 기존의 메타학습 및 지속 학습 기본선과 비교하여 ANML은 어떠한가?

주요 결과

• ANML은 실험된 모든 궤적 길이에서 메타테스트 학습 정확도 면에서 OML 및 다른 기본선을 크게 능가한다.
• ANML은 600 메타-테스트 클래스에서 63.8%의 메타-테스트 테스트 정확도를 달성하는 반면, OML은 18.2%, OML-OLFT는 44.2%이다.
• Scratch 및 Pretraining 기준선은 궤적 길이에 걸쳐 현저히 성능이 저하되며, 긴 시퀀스에서 종종 0%에 가까운 성능을 보인다.
• ANML은 최대 600개의 연속 Omniglot 클래스에 걸친 망각 없이 학습을 시연하며, 일부 설정에서 오라클 i.i.d. 처리보다 우수하다.
• 게이팅은 활성화를 희소하고 작업 관련 표현으로 축소시키는 반면 평균 활성을 넓게 유지한다.