[논문 리뷰] Model Imitation for Model-Based Reinforcement Learning

Yueh-Hua Wu, Ting-Han Fan외 2명|arXiv (Cornell University)|2019. 09. 25.

Reinforcement Learning in Robotics참고 문헌 41인용 수 6

한 줄 요약

이 논문은 모델 기반 강화학습에서 누적 추정 오차로 인한 표본 비효율성을 해결하기 위해 WGAN 기반의 분포 매칭을 사용하는 Model Imitation(MI)을 제안한다. 학습된 환경 모델에서 유도된 다단계 롤아웃과 실제 환경에서의 롤아웃을 일치시키기 위해 점유도 측정값의 격리 정도를 최소화한다. 실재 및 합성 트레이젝터리 간의 점유도 측정값 격리 정도를 최소화함으로써, 기존의 최첨단 MBRL 및 MFRL 방법들보다 뛰어난 표본 효율성과 정책 성능을 달성하며, 누적 보상 유사성에 이론적 보장이 있다.

ABSTRACT

Model-based reinforcement learning (MBRL) aims to learn a dynamic model to reduce the number of interactions with real-world environments. However, due to estimation error, rollouts in the learned model, especially those of long horizons, fail to match the ones in real-world environments. This mismatching has seriously impacted the sample complexity of MBRL. The phenomenon can be attributed to the fact that previous works employ supervised learning to learn the one-step transition models, which has inherent difficulty ensuring the matching of distributions from multi-step rollouts. Based on the claim, we propose to learn the transition model by matching the distributions of multi-step rollouts sampled from the transition model and the real ones via WGAN. We theoretically show that matching the two can minimize the difference of cumulative rewards between the real transition and the learned one. Our experiments also show that the proposed Model Imitation method can compete or outperform the state-of-the-art in terms of sample complexity and average return.

연구 동기 및 목표

• 학습된 동역학 모델에서 발생하는 누적 추정 오차로 인한 모델 기반 강화학습의 표본 비효율성 문제를 해결하기 위해.
• 단일 스텝 전이 모델링에서의 지도학습의 한계를 극복하기 위해, 장기적인 시간 간격에서의 롤아웃 유사성을 보장하지 못하는 문제를 해결하기 위해.
• 동일한 정책 하에서 합성 롤아웃이 실제 세계 롤아웃과 유사하도록 보장함으로써 정책 그래디언트 추정을 향상시키기 위해.
• 분포 매칭이 실재 환경과 학습된 환경 간의 누적 보상 격리 정도를 줄이는 데 효과적인 이유에 대한 이론적 근거를 제공하기 위해.
• 절단된 WGAN과 혼합 기반 점유도 측정값 매칭을 사용하여 모델 이민 프레임워크의 훈련을 안정화하기 위해.

제안 방법

• 실제 환경 롤아웃과 학습된 모델이 생성한 합성 롤아웃에서 유도된 상태-행동-다음 상태 삼중항(s, a, s')의 연합 분포를 매칭하기 위해 WGAN 프레임워크를 사용한다.
• 학습된 모델는 GAN 내의 생성기로 기능하며, 실재 및 합성 트레이젝터리를 구분하는 비평가 네트워크가 훈련을 이끌도록 한다.
• 생성기(모델)와 비평가를 번갈아가며 업데이트함으로써, 합성 롤아웃 분포가 실재 분포 쪽으로 수렴하도록 유도한다.
• 모드 붕괴를 방지하고 여러 WGAN 반복 동안 훈련을 안정화하기 위해 절단된 WGAN 변형을 사용한다.
• 일반화 성능 향상과 가중치 전이 가능성을 높이기 위해, 단일 정책의 분포가 아닌 여러 정책의 점유도 측정값 혼합을 매칭한다.
• 모델 기반 RL 파ip라인에 통합되어, 이민된 모델에서 유도된 롤아웃을 통해 표본 효율적인 정책 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 WGAN 기반의 분포 매칭이 단일 스텝 학습에 비해 모델 기반 강화학습에서 장기적인 시간 간격 롤아웃의 정확도를 향상시키는가?
• RQ2 실제 및 합성 트레이젝터리의 점유도 측정값을 매칭함으로써 누적 보상 근사치와 정책 성능이 향상되는가?
• RQ3 제안된 방법이 최첨단의 모델프리 및 모델기반 RL 알고리즘보다 뛰어난 표본 효율성을 달성하는가?
• RQ4 여러 정책의 점유도 측정값 혼합을 사용함으로써 모델 이민에서 훈련 안정성과 일반화 성능이 향상되는가?
• RQ5 제안된 분포 매칭 목표 하에 실재 환경과 학습된 환경 간의 누적 보상 차이에 대한 이론적 한계는 무엇인가?

주요 결과

• Model Imitation는 연속 제어 벤치마크에서 TRPO, PPO, SLBO, PETS, METRPO, STEVE를 포함한 최첨단 MBRL 및 MFRL 방법들과 비교해 더 빠른 수렴 속도와 더 높은 평균 수익을 달성한다.
• MI는 환경 상호작용 수를 50% 줄임에도 불구하고 모든 비교 방법들을 능가하며, 기준 방법들이 200k 타임스텝을 사용하는 데 비해 140k 타임스텝만으로도 뛰어난 성능을 달성한다.
• Ant 환경에서 MI는 평균 수익을 약 1,000까지 향상시켜, 경쟁 방법들보다 더 정확한 동역학 모델을 포착하고 있음을 시사한다.
• 이론적 분석 결과, 실재 환경과 학습된 환경 간의 누적 보상 차이는 WGAN 훈련 오차에 선형적으로 유계되어 있으며, 강력한 일반화 보장을 제공한다.
• 여러 정책의 점유도 측정값 혼합을 사용함으로써 안정적인 가중치 전이와 일반화 성능 향상이 가능하며, 단일 정책 매칭은 분포 불일치 문제로 인해 성능 저하를 겪는 것과 대비된다.
• 절단된 WGAN 변형을 사용함으로써 표준 GAN에서 흔히 발생하는 국소 최적점과 모드 붕괴 문제를 피하고 훈련을 안정화시킨다.