[논문 리뷰] Task Agnostic Continual Learning via Meta Learning

Xu He, Jakub Sygnowski외 4명|arXiv (Cornell University)|2019. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 57

한 줄 요약

논문은 최근 관찰로 현재 작업 맥락을 추론하고 예측을 적응시키는 메타러닝을 사용하는 태스크-에 구애받지 않는 연속 학습 프레임워크를 제안하여, 태스크 경계가 없는 비정상적(non-stationary) 작업 순서에서도 빠른 기억 회상을 가능하게 한다.

ABSTRACT

While neural networks are powerful function approximators, they suffer from catastrophic forgetting when the data distribution is not stationary. One particular formalism that studies learning under non-stationary distribution is provided by continual learning, where the non-stationarity is imposed by a sequence of distinct tasks. Most methods in this space assume, however, the knowledge of task boundaries, and focus on alleviating catastrophic forgetting. In this work, we depart from this view and move the focus towards faster remembering -- i.e measuring how quickly the network recovers performance rather than measuring the network's performance without any adaptation. We argue that in many settings this can be more effective and that it opens the door to combining meta-learning and continual learning techniques, leveraging their complementary advantages. We propose a framework specific for the scenario where no information about task boundaries or task identity is given. It relies on a separation of concerns into what task is being solved and how the task should be solved. This framework is implemented by differentiating task specific parameters from task agnostic parameters, where the latter are optimized in a continual meta learning fashion, without access to multiple tasks at the same time. We showcase this framework in a supervised learning scenario and discuss the implication of the proposed formalism.

연구 동기 및 목표

• 비 known task boundaries or identities를 포함한 비정상 데이터에 대처한다.
• 무엇이 해결되는지와 어떻게 해결되어야 하는지 구분한다.
• 맥락 데이터에서 현재 태스크를 추론하고 태스크 특정 모델을 이에 맞게 조정한다.
• 연속 학습으로 메타학습 구성 요소를 안정화시켜 망각을 방지한다.
• 연속학습과 메타학습을 통합하는 instantiated 방법으로 프레임워크를 시연한다.”

제안 방법

• 작업 추론과 작업 해결을 구분하는 What & How 두 모듈 프레임워크를 제안한다.
• What 인코더 F^What를 사용하여 맥락 데이터 D_t^cxt에서 현재 태스크 표현 c_t를 추론한다.
• 태스크 표현 c_t를 y를 x에서 예측하는 태스크 특화 모델 F^How로 매핑한다.
• 최근 k개의 관찰을 맥락으로 사용하여 부분적으로 정상적이거나 원활하게 변화하는 태스크를 포착한다.
• BGD(Bayesian Gradient Descent)를 통해 메타 매개변수를 지속 학습에 적용하여 학습을 안정화한다.
• 맥락 의존 게이팅으로 MetaCoG, 잠재 태스크 사전과 GO-MTM/ELLA와 유사한 MetaELLA로 프레임워크를 구현한다.
• BGD를 사용한 메타 매개변수 업데이트로 새로운 태스크를 학습하면서도 기존 기술을 보유한다는 점을 시연한다.

실험 결과

연구 질문

• RQ1 태스크-에 구애받지 않는 연속 학습 시스템이 명시적 태스크 라벨 없이도 맥락에서 현재 태스크를 추론하고 적응할 수 있는가?
• RQ2 메타학습 수준에서 연속 학습을 적용하면 서로 충돌하는 순차 태스크에서도 빠른 기억 회상이 가능한가?
• RQ3 What & How로 인스턴스화된 메타학습 방법이 비정상적이고 경계 없는 시나리오에서 표준 베이스라인과 어떻게 비교되는가?
• RQ4 입력이 태스크 정체성을 드러내지 않는 경우 태스크 추론이 성능 유지에 필수적인가?

주요 결과

• 맥락이 제공될 때 메타러닝 기반의 태스크 추론이 빠르게 기억하는 능력을 가능하게 하며, 태스크를 추론하지 않는 베이스라인보다 우수하다.
• 메타 매개변수에 대한 BDG 기반 업데이트는 지식을 공고히 하고 순차적 태스크 간 망각을 방지하는 데 도움을 준다.
• MetaCoG와 MetaELLA는 태스크-구애받지 않는 설정이 우세한 연속 메타학습 우주를 시연한다.
• sine 곡선 회귀 및 라벨 치환 MNIST에서 메타러너는 내부 루프 업데이트가 적은 상태에서 이전 태스크를 기억하는 반면 베이스라인은 실패한다.
• Omniglot 실험에서 단일 헤드 아키텍처가 태스크 맥락이 추론될 때 다중 헤드 베이스라인과 일치할 수 있음을 보여준다.
• 프레임워크는 What과 How를 분리하고 더 빠른 기억에 집중함으로써 연속 학습과 메타학습을 하나로 통합한다.