[논문 리뷰] Task-Agnostic Online Reinforcement Learning with an Infinite Mixture of Gaussian Processes

Mengdi Xu, Wenhao Ding외 4명|arXiv (Cornell University)|2020. 06. 19.

Gaussian Processes and Bayesian Inference인용 수 17

한 줄 요약

이 논문은 사전 훈련 없이도 예측할 수 없는 역학적 특성에 빠르게 적응할 수 있도록 무한한 혼합 가우시안 프로세스(GPs)를 사용하는 작업 무관(task-agnostic) 온라인 모델 기반 강화학습 방법을 제안한다. 시간적 전이 사전분포를 활용한 순차적 변분 추론을 통해 비정상적인 환경을 모델링함으로써, 이 방법은 작업 전환을 탐지하고 과거 모델을 재사용하며 불확실성 인식 역학 표현을 유지한다. 이는 동적 제어 및 주행 시나리오에서 기준 모델들을 능가한다.

ABSTRACT

Continuously learning to solve unseen tasks with limited experience has been extensively pursued in meta-learning and continual learning, but with restricted assumptions such as accessible task distributions, independently and identically distributed tasks, and clear task delineations. However, real-world physical tasks frequently violate these assumptions, resulting in performance degradation. This paper proposes a continual online model-based reinforcement learning approach that does not require pre-training to solve task-agnostic problems with unknown task boundaries. We maintain a mixture of experts to handle nonstationarity, and represent each different type of dynamics with a Gaussian Process to efficiently leverage collected data and expressively model uncertainty. We propose a transition prior to account for the temporal dependencies in streaming data and update the mixture online via sequential variational inference. Our approach reliably handles the task distribution shift by generating new models for never-before-seen dynamics and reusing old models for previously seen dynamics. In experiments, our approach outperforms alternative methods in non-stationary tasks, including classic control with changing dynamics and decision making in different driving scenarios.

연구 동기 및 목표

• 작업 분포가 알려져 있지 않고 작업 경계가 모호한 실제 환경에서 메타학습과 지속적 학습의 한계를 해결하기 위해.
• 사전 훈련이나 명시적 작업 경계 없이도 온라인 스트리밍 환경에서 새로운 역학적 특성에 신속히 적응할 수 있도록 하기 위해.
• 상당히 다른 역학적 특성을 가진 비정상적인 로봇 작업에서 치명적인 기억 상실(catastrophic forgetting)과 지식 전이 문제를 완화하기 위해.
• 순차적 추론 프레임워크 내에서 전이 사전분포를 사용해 동역학 변화의 시간적 의존성을 모델링하기 위해.
• 혼합 전문가 설정에서 가우시안 프로세스 기반의 역학 모델을 통해 데이터 효율성과 불확실성 측정을 달성하기 위해.

제안 방법

• 무한한 혼합 가우시안 프로세스(GPs)를 사용해 다양한 시스템 역학을 표현함으로써, 무한한 수의 동역학 제어 영역를 모델링할 수 있도록 한다.
• 새로운 데이터 스트림이 들어올 때 실시간으로 혼합 모델을 업데이트하기 위해 순차적 변분 추론을 적용함으로써 온라인 학습을 지원한다.
• 디리클레 과정에서 유도된 전이 사전분포를 도입하여 연속적인 역학 간 시간적 의존성을 인코딩함으로써 작업 전환 탐지 성능을 향상시킨다.
• 계산적 확장성과 데이터 효율성을 유지하기 위해 변분 추론을 활용한 희소 GP 근사법을 사용한다.
• 온라인 적응 과정에서 임의의 모델 생성을 줄이고 모델 지속성을 촉진하기 위해 스티키 파라미터를 활용한다.
• 각 시간 단계에서 관측치를 기존 또는 새로운 GP 전문가에 할당함으로써 작업 인식을 수행함으로써, 이전에 학습된 역학을 재사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습 에이전트는 사전 훈련 없이도 비정상적인 환경에서 예측할 수 없는 역학적 특성에 신속히 적응할 수 있는가?
• RQ2 스트리밍 역학에서 시간적 의존성을 어떻게 모델링할 수 있을까? 이를 통해 작업 전환 탐지 성능을 향상시킬 수 있는가?
• RQ3 온라인 추론을 갖춘 GPs 혼합 모델은 극적인 역학 변화를 다룰 수 있을까? 동시에 치명적인 기억 상실을 피할 수 있는가?
• RQ4 작업 경계가 알려져 있지 않은 환경에서 제안된 방법은 메타학습 및 지속적 학습 기준 모델들과 비교해 어떻게 성능을 내는가?
• RQ5 전이 사전분포는 비 i.i.d. 동적 환경에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 비정상적인 CartPole-SwingUp 및 Highway-Intersection 작업에서 MAML 기반 모델-프리 RL 및 DNN 기반 기준 모델들을 능가하며, 특히 동역학 변화가 발생할 경우에 뚜렷한 성능 향상을 보였다.
• 이 방법은 실시간으로 작업 경계를 탐지하고 새로운 역학에 신속히 적응하며, 새로운 GP 모델을 생성하거나 기존 모델을 재사용함으로써 이를 달성했다.
• i.i.d. 가정에 비해 전이 사전분포의 사용이 작업 전환 탐지 성능을 크게 향상시켰으며, 진동과 성능 저하를 감소시켰다.
• 무한한 GP 혼합 모델은 다중모드 예측 분포를 가능하게 하여, 극적으로 다른 동역학 특성에 대해 치명적인 기억 상실 없이도 견고하게 대처할 수 있었다.
• 특히 각 동역학 제어 영역당 데이터가 제한적인 경우, 딥 네트워크보다 더 뛰어난 데이터 효율성과 불확실성 측정 성능을 달성했다.
• 실험 결과, 동역학이 작업 간에 크게 변화할 경우 MAML 및 DNN 기반 모델이 갇힐 수 있는 국소 최적점에 빠지지 않고, 본 방법이 이를 피하는 것으로 나타났다.