[논문 리뷰] Deep Online Learning via Meta-Learning: Continual Adaptation for Model-Based RL

Anusha Nagabandi, Chelsea Finn외 1명|arXiv (Cornell University)|2018. 12. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 48

한 줄 요약

MOLe은 online SGD와 mixture-of-meta-trained-networks를 Chinese restaurant process를 사용하여 model-based RL에서 비정형(non-stationary) 태스크에 지속적으로 적응합니다. 메타-learning은 빠른 온라인 적응과 태스크 회상을 위한 유리한 선험을 제공합니다.

ABSTRACT

Humans and animals can learn complex predictive models that allow them to accurately and reliably reason about real-world phenomena, and they can adapt such models extremely quickly in the face of unexpected changes. Deep neural network models allow us to represent very complex functions, but lack this capacity for rapid online adaptation. The goal in this paper is to develop a method for continual online learning from an incoming stream of data, using deep neural network models. We formulate an online learning procedure that uses stochastic gradient descent to update model parameters, and an expectation maximization algorithm with a Chinese restaurant process prior to develop and maintain a mixture of models to handle non-stationary task distributions. This allows for all models to be adapted as necessary, with new models instantiated for task changes and old models recalled when previously seen tasks are encountered again. Furthermore, we observe that meta-learning can be used to meta-train a model such that this direct online adaptation with SGD is effective, which is otherwise not the case for large function approximators. In this work, we apply our meta-learning for online learning (MOLe) approach to model-based reinforcement learning, where adapting the predictive model is critical for control; we demonstrate that MOLe outperforms alternative prior methods, and enables effective continuous adaptation in non-stationary task distributions such as varying terrains, motor failures, and unexpected disturbances.

연구 동기 및 목표

• 비정상 환경에서 심층 모델에 대한 빠르고 지속적인 온라인 적응을 촉진한다.
• 작업 특화 모델의 혼합을 유지하고 업데이트하기 위한 온라인 EM 기반 절차를 개발한다.
• 적은 수의 그래디언트 스텝으로도 효과적인 온라인 적응을 가능하게 하기 위해 메타-학습으로 얻은 선험을 활용한다.
• CRP 선험을 통해 알려지지 않은 태스크 경계를 처리한다.

제안 방법

• 온라인 학습을 각 태스크 T에 대해 SGD로 theta(T)를 업데이트하는 방식으로 공식화하고, P(T_t | x_t, y_t)에 의해 가이드된다.
• EM을 사용하여 태스크 책임을 추정하고 모델 매개변수를 온라인으로 업데이트한다.
• 필요에 따라 새로운 태스크를 인스턴스화하기 위해 Chinese restaurant process로 태스크 분포를 모델링한다.
• 작은 데이터로부터의 빠른 적응을 가능하게 하기 위해 MAML로 theta*를 메타 학습한다.
• 온라인 M 단계에서 P_t(T_t=T_i|x_t,y_t)에 의해 스케일된 하나의 그래디언트 스텝을 사용하여 theta_t+1(T_i)를 업데이트한다.
• 업데이트된 모델을 사용하는 컨트롤러로 과거 K개의 전이로부터 다음 상태를 예측하고 이를 통해 model-based RL에 MOLe을 적용한다.

실험 결과

연구 질문

• RQ1 MOLe은 비정상(non-stationary) 데이터 스트림에서 태스크 구조를 자율적으로 발견할 수 있는가?
• RQ2 MOLe은 k-shot 방법이 허용하는 범위를 넘어 훈련 분포 밖의 태스크에 적응할 수 있는가?
• RQ3 MOLe은 온라인으로 이전에 본 태스크를 인식하고 되돌릴 수 있는가?
• RQ4 MOLe은 최근 태스크에의 과적합을 피하고 태스크 간 전환 중에도 과거 기술을 보존하는가?
• RQ5 비정상 환경에서 MOLe은 대체 온라인 학습 및 메타 학습 베이스라인보다 우수한가?

주요 결과

• MOLe은 model-based RL에서 새로운 태스크의 온라인 인스턴스화와 분포 밖 태스크에 대한 적응을 가능하게 한다.
• MOLe은 이전에 본 태스크를 온라인으로 기억하고 되돌릴 수 있다.
• MOLe은 연속 그래디언트 업데이트를 사용하거나 메타 학습 없이도 k-shot 메타-RL 및 베이스라인을 능가한다.
• MAML을 통한 메타 학습 선험은 비정상적 다중태스크 설정에서 지속적인 온라인 적응을 위한 효과적인 초기화를 제공한다.
• CRP 선험을 사용하면 태스크에 대한 소프트 할당과 명시적 태스크 구분 없이 자연스러운 전문화의 출현이 가능해진다.