[논문 리뷰] Augmented World Models Facilitate Zero-Shot Dynamics Generalization From a Single Offline Environment

Philip Ball, Cong Lu외 2명|arXiv (Cornell University)|2021. 04. 12.

Reinforcement Learning in Robotics참고 문헌 55인용 수 6

한 줄 요약

이 논문은 오프라인 강화학습에서 제로샷 동역학 일반화를 향상시키기 위해 맥락 인식 전환을 학습된 동역학에 통합하는 Augmented World Models (AugWM)를 제안한다. 다양한 증강된 동역학에서 정책을 훈련하고, 테스트 시 자기지도 선형 동역학 모델링을 통해 올바른 맥락을 추론함으로써, 테스트 시 환경 보상이 필요 없이도 최신 기준(SOTA) 보다 뛰어난 성능을 달성한다.

ABSTRACT

Reinforcement learning from large-scale offline datasets provides us with the ability to learn policies without potentially unsafe or impractical exploration. Significant progress has been made in the past few years in dealing with the challenge of correcting for differing behavior between the data collection and learned policies. However, little attention has been paid to potentially changing dynamics when transferring a policy to the online setting, where performance can be up to 90% reduced for existing methods. In this paper we address this problem with Augmented World Models (AugWM). We augment a learned dynamics model with simple transformations that seek to capture potential changes in physical properties of the robot, leading to more robust policies. We not only train our policy in this new setting, but also provide it with the sampled augmentation as a context, allowing it to adapt to changes in the environment. At test time we learn the context in a self-supervised fashion by approximating the augmentation which corresponds to the new environment. We rigorously evaluate our approach on over 100 different changed dynamics settings, and show that this simple approach can significantly improve the zero-shot generalization of a recent state-of-the-art baseline, often achieving successful policies where the baseline fails.

연구 동기 및 목표

• 단일 오프라인 데이터셋에서 훈련된 정책가 새로운 동역학에 일반화하지 못하는 오프라인 강화학습의 핵심 격차를 해결하기 위해.
• 시뮬레이터 접근성이나 동역학 파rameter 사전 지식 없이도 새로운 물리 환경으로의 강건한 제로샷 전이를 가능하게 하기 위해.
• 훈련 중 관측이 아닌 동역학 모델 자체를 증강함으로써 정책의 강건성을 향상시키기 위해.
• 정책이 추론 중에 실시간으로 적응할 수 있도록, 자기지도 보상 없이 맥락 적응 메커니즘을 개발하기 위해.
• 학습된 월드 모델 내에서의 동역학 증강이 다양한 분포 외 동역학 설정에서 성능 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 단일 오프라인 데이터셋에서 월드 모델을 학습한 후, 물리적 성질(예: 질량, 감쇠)의 변화를 시뮬레이션하는 확률적 전환을 동역학 전이 함수에 통합한다.
• 정책 훈련 중에 에이전트는 증강 맥락에 조건을 두어 다양한 시뮬레이션된 동역학에서 동역학에 강건한 행동을 학습할 수 있다.
• 테스트 시점에선 실제 환경 상호작용에 대해 자기지도 선형 동역학 모델을 훈련하여 현재 동역학 증강 맥락을 추론한다.
• 추론된 맥락은 테스트 시점에 정책에 입력되어, 보상 신호 없이도 한 에피소드 내에서 행동을 적응시킬 수 있게 한다.
• 이 방법은 보상 없이도 안정적인 훈련을 위해 불확실성 정규화 업데이트를 사용하는 모델 기반 RL 프레임워크 내에서 완전히 작동한다.
• 이 방법은 표준 MuJoCo 환경에 적용되어 다양한 분포 외 동역학 변화에 대해 평가된다.

실험 결과

연구 질문

• RQ1 단일 오프라인 데이터셋에서 훈련된 정책가 시뮬레이터나 환경 파rameter에 접근할 수 없을 때도 새로운 동역학에 일반화할 수 있는가?
• RQ2 관측 공간이 아닌 동역학 모델을 증강하는 것이 오프라인 RL에서 더 나은 제로샷 일반화를 이끌어내는가?
• RQ3 자기지도 보상 없는 맥락 추론 메커니즘이 추론 중 효과적인 맥락 적응을 가능하게 하는가?
• RQ4 물리적 성질 변화에 대한 강건성 측면에서 동역학 수준 증강은 관측 수준 증강보다 얼마나 우월한가?
• RQ5 증강된 동역학에서 훈련된 맥락 인식 정책이 새로운 동역학에서 최신 기준 오프라인 RL 방법들을 얼마나 뛰어나게 성과를 내는가?

주요 결과

• AugWM는 100여 개 이상의 다른 동역학 설정에서 제로샷 동역학 일반화를 크게 향상시켰으며, 대부분의 경우 최신 기준 기준(MOPO)을 뛰어넘었다.
• HalfCheetah 환경에서 AugWM는 질량과 감쇠 스케일 변화 모두에서 MOPO보다 더 높은 누적 수익을 달성했으며, 맥락 추론 이후 성능이 복구되었다.
• Walker2d 환경에서 AugWM는 질량과 감쇠 변화 상황에서도 안정적인 성능 유지를 보였고, MOPO는 몇몇 설정에서 완전히 실패했다.
• 손상된 다리가 있는 Ant 환경에서 MOPO 에이전트는 뒹구르며 실패했지만, AugWM 에이전트는 성공적으로 적응하여 작업을 완수했다.
• 테스트 시 보상이나 환경 접근이 필요 없이도 실제와 유사한 동역학 변화 상황에서 정책 배포를 성공적으로 수행했다.
• 자기지도 맥락 추론 메커니즘이 한 에피소드 내에서 효과적인 적응을 가능하게 하여, 동역학의 분포 이탈에 대한 강건성을 입증했다.