[논문 리뷰] Learning to Adapt: Meta-Learning for Model-Based Control

Ignasi Clavera, Anusha Nagabandi외 4명|arXiv (Cornell University)|2018. 03. 30.

Reinforcement Learning in Robotics참고 문헌 31인용 수 44

한 줄 요약

이 논문은 환경 상호작용 비용이 높고 예측할 수 없는 교란 요소가 정책 학습을 방해하는 실제 환경에서의 강화학습에서의 샘플 비효율성과 일반화 부족 문제를 해결하기 위해 모델 기반 강화학습을 위한 메타학습 접근법을 제안한다. 이는 최근 경험으로 미세조정된 글로벌 동역학 모델을 활용하여 새로운 환경이나 손상된 부위(예: 새로운 지형, 손상된 사지 등)에 대해 온라인에서 신속하게 적응할 수 있도록 한다. 이 방법은 샘플 효율적인 적응을 달성하며, 매우 동적인 및 예측 불가능한 실제 환경 조건에서도 견고한 성능을 보여준다.

ABSTRACT

Although reinforcement learning methods can achieve impressive results in simulation, the real world presents two major challenges: generating samples is exceedingly expensive, and unexpected perturbations can cause proficient but narrowly-learned policies to fail at test time. In this work, we propose to learn how to quickly and effectively adapt online to new situations as well as to perturbations. To enable sample-efficient meta-learning, we consider learning online adaptation in the context of model-based reinforcement learning. Our approach trains a global model such that, when combined with recent data, the model can be be rapidly adapted to the local context. Our experiments demonstrate that our approach can enable simulated agents to adapt their behavior online to novel terrains, to a crippled leg, and in highly-dynamic environments.

연구 동기 및 목표

• 환경 상호작용 비용이 높고 예측 불가능한 교란 요소가 정책 학습을 방해하는 실제 환경에서의 강화학습에서 샘플 비효율성과 일반화 부족 문제를 해결한다.
• 특정 상황에 최적화된 정책의 한계를 극복하기 위해 재학습 없이도 온라인에서 새로운 상황에 적응할 수 있도록 한다.
• 모델 기반 강화학습과 온라인 적응을 결합한 메타학습 프레임워크를 개발하여 동적인 환경에서 샘플 효율성과 견고성을 향상시킨다.

제안 방법

• 정책 적응을 위한 사전 지식으로 사용되는 글로벌 동역학 모델을 훈련하여 최근 환경 상호작용을 바탕으로 빠른 미세조정이 가능하도록 한다.
• 최근 소수의 롤아웃을 활용해 글로벌 모델을 업데이트함으로써 현지 환경 조건에 맞게 온라인 적응을 수행한다.
• 메타학습을 활용해 글로벌 모델의 인덕티브 바이어스를 최적화하여 다양한 작업과 교란 요소에 일반화할 수 있도록 한다.
• 모델 기반 강화학습을 활용해 적응 기간 동안 계획 수립과 샘플 효율성 향상을 도모하여 환경 상호작용 횟수를 줄인다.
• 적응 과정에 메타최적화를 적용하여 모델이 다양한 시나리오에서 신속하게 적응하도록 보장한다.

실험 결과

연구 질문

• RQ1 메타학습된 모델 기반 정책은 재학습 없이 추론 도중에 새로운 지형에 대해 신속하고 효과적으로 적응할 수 있는가?
• RQ2 모의 환경에서 다리 기형과 같은 예기치 않은 교란 요소를 이 방법은 얼마나 잘 처리할 수 있는가?
• RQ3 기본 강화학습 또는 비메타학습 기반 베이스라인 대비 이 방법은 샘플 효율성에서 어느 정도 향상되는가?
• RQ4 모델 기반 메타학습 프레임워크는 매우 동적이고 변화하는 환경 간에도 일반화 가능한가?

주요 결과

• 제안된 방법은 추가적인 환경 상호작용 수를 최소화하면서도 신속하게 새로운 지형에 대해 행동을 온라인 적응시킬 수 있다.
• 다리 기형과 같은 교란 요소 상황에서도 성능을 유지하여 예기치 않은 하드웨어 고장에 대한 견고성을 입증했다.
• 최근 경험으로 신속하게 미세조정되는 글로벌 동역학 모델을 활용함으로써 샘플 효율적인 적응을 달성했다.
• 실험 결과, 다양한 동적 환경 간에서 우수한 일반화 성능을 보였으며, 비메타학습 기반 베이스라인 대비 적응 속도와 성공률에서 뛰어난 성능을 보였다.