[논문 리뷰] Learning to Adapt in Dynamic, Real-World Environments Through Meta-Reinforcement Learning

Anusha Nagabandi, Ignasi Clavera외 5명|arXiv (Cornell University)|2018. 03. 30.

Robotic Locomotion and Control인용 수 300

한 줄 요약

본 논문은 GrBAL 및 ReBAL을 제시합니다. 이는 모델 기반 강화학습(model-based RL)을 위한 메타학습 기반 온라인 적응으로, 동적이고 실제 세계 환경에 대해 빠르고 샘플 효율적인 적응을 가능하게 하며, 실제 다리형 밀로봇을 포함합니다.

ABSTRACT

Although reinforcement learning methods can achieve impressive results in simulation, the real world presents two major challenges: generating samples is exceedingly expensive, and unexpected perturbations or unseen situations cause proficient but specialized policies to fail at test time. Given that it is impractical to train separate policies to accommodate all situations the agent may see in the real world, this work proposes to learn how to quickly and effectively adapt online to new tasks. To enable sample-efficient learning, we consider learning online adaptation in the context of model-based reinforcement learning. Our approach uses meta-learning to train a dynamics model prior such that, when combined with recent data, this prior can be rapidly adapted to the local context. Our experiments demonstrate online adaptation for continuous control tasks on both simulated and real-world agents. We first show simulated agents adapting their behavior online to novel terrains, crippled body parts, and highly-dynamic environments. We also illustrate the importance of incorporating online adaptation into autonomous agents that operate in the real world by applying our method to a real dynamic legged millirobot. We demonstrate the agent's learned ability to quickly adapt online to a missing leg, adjust to novel terrains and slopes, account for miscalibration or errors in pose estimation, and compensate for pulling payloads.

연구 동기 및 목표

• perturbation이나 새로운 지형으로 인해 역학이 바뀌는 실제 세계의 RL에서 빠른 온라인 적응의 필요성을 동기 부여한다.
• 최근 경험을 사용하여 온라인으로 역학 모델을 적응시키는 샘플 효율적인 메타학습 프레임워크를 개발한다.
• 온라인 적응에 사용할 두 가지 구현인 GrBAL(그래디언트 기반)과 ReBAL(순환 기반)을 제안한다.
• 순조로운 시뮬레이션 컨트롤 작업에서의 동적 섭입 perturbations 및 실제 다리형 밀로봇에 대한 실용적 적용 가능성을 입증한다.

제안 방법

• 메타학습을 통해 빠르게 적응할 수 있는 신경 역학 모델을 활용하는 모델 기반 RL.
• 메타학습은 과거 경험이 빠른 적응에 정보를 제공하도록 기본 모델 매개변수 세트와 업데이트 메커니즘을 최적화한다.
• 두 가지 업데이트 메커니즘: GrBAL은 MAML과 유사한 그래디언트 기반 업데이트를 사용하고, ReBAL은 자체 업데이트 규칙을 학습하는 순환 신경망을 사용한다.
• 적응은 과거의 M 타임스텝을 사용하여 다음 K 스텝을 예측하고, 음의 로그 가능도(NLL)를 최소화하도록 매개변수를 업데이트한다.
• 적응된 모델을 사용한 MPPI(모델 예측 경로 적분 제어)로 계획하고, 각 타임스텝에서 재계획한다.
• 메타학습 중 온라인 적응을 포함한 학습 및 테스트 워크플로우를 통해 온-폴리시 데이터를 제공한다.

실험 결과

연구 질문

• RQ1 온라인 적응을 통해 예측 정확도가 가까운 미래의 역학을 개선할 수 있는가?
• RQ2 GrBAL과 ReBAL이 급격한 역학 변화 및 미지의 환경에 대해 빠른 온라인 적응을 가능하게 하는가?
• RQ3 모델 기반 메타 RL이 샘플 효율성과 성능 측면에서 모델 프리 메타 RL 및 기본 MB 방법과 비교하여 어떤 차이가 있는가?
• RQ4 GrBAL과 ReBAL 중 어느 쪽이 다양한 작업에서 더 나은 일반화 및 빠른 적응을 제공하는가?
• RQ5 실제 로봇에서도 온라인 적응이 가능하고 이득이 있는가?

주요 결과

• 적응은 업데이트 전(pre-update)과 업데이트 후(post-update) 간의 모델 예측 오차를 감소시켜 효과적인 온라인 적응을 입증한다.
• GrBAL/ReBAL의 메타학습이 실제 세계 데이터 1.5-3시간으로도 모델 프리 에이전트가 약 1000배 더 많은 데이터로 학습한 경우와 견주거나 우수한 성능을 낸다.
• GrBAL은 빠른 적응이 필요한 여러 작업에서 MB+DE 및 MB 오 oracle보다 우수한 성능을 보인다.
• 실험실 외 로봇 실험에서 GrBAL은 지형 변화, 오정확 보정, 페이로드가 있는 다리형 밀로봇에 대해 온라인 적응을 시연한다.
• GrBAL은 일반적으로 재현된 환경에서 ReBAL보다 더 나은 빠른 적응 및 일반화를 달성하는 경향이 있다.