[논문 리뷰] Safe Model-Based Meta-Reinforcement Learning: A Sequential Exploration-Exploitation Framework.

Thomas Lew, Apoorva Sharma외 2명|arXiv (Cornell University)|2020. 08. 26.

Fault Detection and Control Systems참고 문헌 32인용 수 6

한 줄 요약

이 논문은 불확실한 동역학 하에서 확률적 안전성과 지속 가능한 타당성을 보장하는 안전한 모델 기반 메타강화학습을 위한 순차적 탐색-이용 프레임워크를 제안한다. 베이지안 메타학습과 신뢰도 인식 계획법을 융합함으로써, 고불확실성 환경에서 효율적이고 안전한 적응이 가능해지며, 이는 교착 상태가 있는 환경에서 화물 운반을 수행하는 비선형 우주 로봇에 대해 검증되었다.

ABSTRACT

Safe deployment of autonomous robots in diverse environments requires agents that are capable of safe and efficient adaptation to new scenarios. Indeed, achieving both data efficiency and well-calibrated safety has been a central problem in robotic learning and adaptive control due in part to the tension between these objectives. In this work, we develop a framework for probabilistically safe operation with uncertain dynamics. This framework relies on Bayesian meta-learning for efficient inference of system dynamics with calibrated uncertainty. We leverage the model structure to construct confidence bounds which hold throughout the learning process, and factor this uncertainty into a model-based planning framework. By decomposing the problem of control under uncertainty into discrete exploration and exploitation phases, our framework extends to problems with high initial uncertainty while maintaining probabilistic safety and persistent feasibility guarantees during every phase of operation. We validate our approach on the problem of a nonlinear free flying space robot manipulating a payload in cluttered environments, and show it can safely learn and reach a goal.

연구 동기 및 목표

• 불확실한 동역학 하에서 데이터 효율성과 校정된 안전성의 동시 달성을 위한 과제를 해결하기 위해.
• 초기 불확실성이 높은 새로운, 알려지지 않은 환경에 대해 자율 에이전트의 안전하고 효율적인 적응을 가능하게 하기 위해.
• 학습 및 배포 전 과정에서 지속 가능한 타당성과 확률적 안전성을 유지하기 위해.
• 학습을 이산적인 탐색 및 이용 단계로 분해하면서도 모든 단계에서 안전성을 보장하는 프레임워크를 개발하기 위해.

제안 방법

• 소수의 시범 예제로부터 잘 校정된 불확실성을 갖는 시스템 동역학을 추론하기 위해 베이지안 메타학습을 활용한다.
• 학습 과정 全주기 동안 유효한 모델 예측에 대한 신뢰구간을 구축하여 신뢰성 확보.
• 불확실성 추정치를 모델 기반 계획 프레임워크에 통합하여 안전한 의사결정 유도.
• 불확실성을 관리하면서도 안전성을 유지하기 위해 제어를 순차적인 탐색 및 이용 단계로 분해.
• 모델 구조를 활용해 계획 과정에서 불확실성 전파를 가능하게 하여 위험 인식 기반의 궤도 최적화 구현.
• 학습 전 과정에서 항상 타당성과 안전성을 보장하는 확률적 안전 보장 메커니즘을 구현.

실험 결과

연구 질문

• RQ1 고불확실성 로봇 제어 시나리오에서 전체 학습 과정 동안 확률적 안전성을 어떻게 확보할 수 있는가?
• RQ2 교정된 불확실성을 갖는 메타-강화학습 프레임워크는 새로운 환경에서 안전성을 유지하면서도 데이터 효율성을 향상시킬 수 있는가?
• RQ3 모델 불확실성 하에서 탐색과 이용을 어떻게 순차적으로 관리하여 타당성과 안전성을 유지할 수 있는가?
• RQ4 베이지안 메타학습은 복잡한 로봇 작업에서 제한된 데이터로 안전한 적응을 가능하게 하기 위해 어떤 역할을 하는가?

주요 결과

• 프레임워크는 교착 상태가 있는 환경에서 화물 운반을 수행하는 비선형 자유비행 우주 로봇에서 안전하고 효율적인 적응을 달성한다.
• 메서드는 고불확실성 탐색 단계를 포함한 모든 학습 단계에서 확률적 안전 보장을 유지한다.
• 베이지안 메타학습에서 유도된 신뢰구간을 활용함으로써 시간이 지남에 따라 신뢰할 수 있는 불확실성 정량화가 가능하다.
• 순차적 탐색-이용 분해 구조는 지속 가능한 타당성과 안전한 정책 개선을 가능하게 한다.
• 이 접근법은 최소한의 데이터로 복잡하고 동적인 환경에서 성공적인 목표 도달 성능을 보여준다.
• 기존의 모델리스 또는 비확률적 방법이 교정되지 않은 불확실성으로 인해 실패할 수 있는 상황에서 안전한 학습을 가능하게 한다.