[논문 리뷰] Model-based Policy Optimization with Unsupervised Model Adaptation

Jian Shen, Han Zhao외 2명|arXiv (Cornell University)|2020. 10. 19.

Reinforcement Learning in Robotics참고 문헌 30인용 수 6

한 줄 요약

이 논문은 모델 기반 강화학습 프레임워크인 AMPO를 제안하며, 비지도 모델 적응을 통해 실제 데이터와 시뮬레이션 데이터 간의 분포 불일치를 명시적으로 감소시킵니다. 실질적 및 시뮬레이션된 데이터의 특징 분포 간의 적분 확률 거리(IpM)를 최소화함으로써, 특히 워샤르-1 거리를 사용하여, AMPO는 정책 최적화를 향상시키고 연속 제어 벤치마크에서 최신 기술 수준의 샘플 효율성을 달성합니다.

ABSTRACT

Model-based reinforcement learning methods learn a dynamics model with real data sampled from the environment and leverage it to generate simulated data to derive an agent. However, due to the potential distribution mismatch between simulated data and real data, this could lead to degraded performance. Despite much effort being devoted to reducing this distribution mismatch, existing methods fail to solve it explicitly. In this paper, we investigate how to bridge the gap between real and simulated data due to inaccurate model estimation for better policy optimization. To begin with, we first derive a lower bound of the expected return, which naturally inspires a bound maximization algorithm by aligning the simulated and real data distributions. To this end, we propose a novel model-based reinforcement learning framework AMPO, which introduces unsupervised model adaptation to minimize the integral probability metric (IPM) between feature distributions from real and simulated data. Instantiating our framework with Wasserstein-1 distance gives a practical model-based approach. Empirically, our approach achieves state-of-the-art performance in terms of sample efficiency on a range of continuous control benchmark tasks.

연구 동기 및 목표

• 모델 기반 강화학습(MBRL)에서 정확한 모델 예측이 시뮬레이션된 데이터에서 잘못될 경우 정책 성능이 저하되는 분포 불일치 문제를 명시적으로 해결하기 위해.
• 라벨 데이터나 보상 함수 지식 없이도 실제 및 시뮬레이션된 데이터의 특징 분포를 정렬하는 방법을 개발하기 위해.
• 비지도 적응을 통해 모델에 의해 생성된 롤아웃의 정밀도를 향상시켜 MBRL에서 샘플 효율성을 향상시키기 위해.
• 실제 및 시뮬레이션된 데이터 분포를 정렬함으로써 기대 수익의 하한을 최대화하는 이론적으로 탄탄한 프레임워크를 제공하기 위해.
• 기존의 MBRL 프레임워크(예: MBPO)에 모델 적응을 통합하여 실용적이고 효과적인 분포 정렬을 가능하게 하기 위해.

제안 방법

• 실제 환경에서 기대 수익의 하한을 유도하여, 분포 정렬을 통해 하한 최대화 전략을 유도합니다.
• 실제 및 시뮬레이션된 데이터의 특징 분포 간의 적분 확률 거리(IPM)를 최소화하는 비지도 모델 적응을 통합한 새로운 MBRL 프레임워크인 AMPO(Adaptation-augmented Model-based Policy Optimization)를 제안합니다.
• 잠재 공간에서 실제 및 시뮬레이션된 데이터 간의 분포 불일치를 측정하고 최소화하기 위해 IPM의 특정 구현으로 워샤르-1 거리를 사용합니다.
• 편향 없는 특징 표현을 보장하기 위해 실질 데이터만을 사용해 디코더를 훈련시키며, 모델 적응 과정은 실제 및 시뮬레이션된 데이터의 잠재 특징을 정렬합니다.
• 적응된 모델을 MBPO 프레임워크에 통합하여 고정밀도 시뮬레이션된 롤아웃을 사용한 정책 최적화를 가능하게 합니다.
• 더불어 훈련을 안정화하고 샘플 효율성을 향상시키기 위해 적응형 길이 스케줄링을 적용한 다단계 롤아웃 전략을 적용합니다.

실험 결과

연구 질문

• RQ1 실제 및 시뮬레이션된 데이터 간의 명시적 분포 정렬이 모델 기반 강화학습에서 정책 최적화를 향상시키는가?
• RQ2 IPM 최소화를 통한 비지도 모델 적응이 시뮬레이션된 롤아웃의 품질과 후속 정책 성능에 어떤 영향을 미치는가?
• RQ3 연속 제어 작업에서 워샤르-1 거리를 분포 정렬 목표로 사용할 경우 어떤 영향을 미치는가?
• RQ4 샘플 효율성과 최종 성능 측면에서 AMPO는 최신 기술 수준의 MBRL 및 MFRL 방법과 비교해 어떻게 성과를 내는가?
• RQ5 모델 적응은 기존의 MBRL 프레임워크(예: MBPO)에 효과적으로 통합될 수 있는가? 이는 훈련 안정성에 영향을 주지 않는가?

주요 결과

• AMPO는 다양한 연속 제어 벤치마크 작업에서 최신 기술 수준의 샘플 효율성을 달성하며, 모델 자유형 및 모델 기반 기준선을 모두 능가합니다.
• IPM 최소화에 워샤르-1 거리를 사용함으로써 분포 불일치가 효과적으로 감소되었으며, 이는 훈련 중 실제 및 시뮬레이션된 특징 분포 간 거리가 뚜렷하게 감소함으로써 입증되었습니다.
• 고정된 반복 수(예: 5~45 에포크)로 적응하고, 적응형 롤아웃 길이 스케줄링(예: 1에서 20으로 증가)을 적용할 경우, 고정 스케줄보다 뛰어난 성능을 기록합니다.
• 절단 실험 결과, 모델 적응이 필수적임을 확인했습니다. 이를 제거할 경우 최종 수익이 뚜렷하게 감소하여, 성능 향상에 직접 기여한다는 점을 입증합니다.
• AMPO는 안정적인 훈련 동역학을 유지하며, Ant, HalfCheetah, Walker2d와 같은 다양한 연속 제어 환경에서 잘 일반화됩니다.
• 특히 실질 데이터만으로 훈련된 분리된 디코더를 사용할 경우, 하이퍼파rameter 선택에 대해 강건함을 보이며 편향 없는 표현 학습을 보장합니다.