[논문 리뷰] Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning

Kimin Lee, Younggyo Seo외 3명|arXiv (Cornell University)|2020. 05. 14.

Reinforcement Learning in Robotics인용 수 28

한 줄 요약

이 논문은 환경의 동역학을 인코딩하는 맥락 잠재 벡터를 학습한 후 이를 다음 상태 예측을 조건화하는 데 사용함으로써 모델 기반 강화 학습에서 일반화 성능을 향상시키는 맥락 인식 동역학 모델(CaDM)을 제안한다. 전진 및 역방향 동역학 예측을 함께 최적화함으로써 CaDM은 다양한 동역학을 가진 예측되지 않은 환경 간에 뛰어난 일반화 성능을 달성하며, 앙상블 방법과 모델 기반 메타-강화 학습 기반선보다 우수한 성능을 보인다. 시뮬레이션 로봇 작업에서의 성능을 입증한다.

ABSTRACT

Model-based reinforcement learning (RL) enjoys several benefits, such as data-efficiency and planning, by learning a model of the environment's dynamics. However, learning a global model that can generalize across different dynamics is a challenging task. To tackle this problem, we decompose the task of learning a global dynamics model into two stages: (a) learning a context latent vector that captures the local dynamics, then (b) predicting the next state conditioned on it. In order to encode dynamics-specific information into the context latent vector, we introduce a novel loss function that encourages the context latent vector to be useful for predicting both forward and backward dynamics. The proposed method achieves superior generalization ability across various simulated robotics and control tasks, compared to existing RL schemes.

연구 동기 및 목표

• 전이 동역학이 다른 환경 간에 모델 기반 강화 학습의 일반화 성능을 향상시키기.
• 전역 동역학 모델이 예측되지 않은 동역학 변화에 적응하지 못하는 한계를 해결하기.
• 맥락 인코딩과 동역학 예측을 분리함으로써 새로운 환경에 빠르게 적응할 수 있도록 하기.
• 잠재 맥락 벡터가 전진 및 역방향 동역학 예측에 모두 유용하도록 유도하는 손실 함수 개발하기.
• 학습된 맥락 벡터가 모델리스 강화 학습에서도 일반화 성능 향상에 기여할 수 있음을 입증하기.

제안 방법

• 최근 상태-행동 트레이제터리에서 맥락 잠재 벡터를 생성하는 맥락 인코더 도입하여 환경 특화된 동역학을 포착하기.
• 잠재 맥락 벡터를 전진 동역학 모델에 조건화하여 예측되지 않은 환경에 대한 온라인 적응 가능하게 하기.
• 1단계 전진 및 향후 단계 전진 및 역방향 동역학 예측을 함께 최적화하는 새로운 손실 함수 설계하기.
• 맥락 벡터가 가까운 미래 타임스텝 동안에도 유용하게 유지되도록 시간적 일관성 정규화 추가하기.
• 조건부 추론을 통해 어떤 동역학 모델 아키텍처(예: 피드포워드 또는 순환 네트워크)와도 호환 가능하게 하기.
• 정책 네트워크에 학습된 맥락 벡터를 추가 입력으로 제공함으로써 방법을 모델리스 강화 학습으로 확장하기.

실험 결과

연구 질문

• RQ1 맥락 인식 동역학 모델은 전이 동역학이 다른 환경 간에 모델 기반 강화 학습의 일반화 성능 향상에 기여하는가?
• RQ2 전진 및 역방향 동역학 예측을 함께 최적화하는 것이 표준 전진 예측 전용 학습보다 더 나은 맥락 표현을 제공하는가?
• RQ3 학습된 맥락 벡터를 통해 재학습 없이도 예측되지 않은 환경에 효과적으로 적응할 수 있는가?
• RQ4 맥락 벡터가 PPO와 같은 모델리스 강화 학습 방법에서 일반화 성능 향상에 어느 정도 기여하는가?
• RQ5 동역학 변화에 대한 내성에 있어 앙상블 방법과 모델 기반 메타-강화 학습에 비해 제안된 방법은 얼마나 뛰어난가?

주요 결과

• CaDM은 MuJoCo 및 OpenAI Gym 작업 다수에서 훈련 환경과 테스트 환경 간의 성능 격차를 크게 줄였으며, 앙상블 방법과 모델 기반 메타-강화 학습 기반선을 모두 능가한다.
• 다양한 질량 파ameter를 가진 HalfCheetah 환경에서 CaDM은 전체 테스트 범위에서 낮은 예측 오차를 유지하지만, 기반선인 PE-TS는 훈련 분포 외부에서는 성능이 떨어진다.
• 잠재 벡터의 주성분 분석(PCA) 시각화 결과, 서로 다른 동역학 영역(예: 다른 막대의 질량) 간에 명확한 분리가 관찰되어 맥락 벡터가 의미 있는 환경 맥락을 포착하고 있음을 확인한다.
• CaDM의 미래 상태 예측은 장기 예측 환경에서도 정확도를 유지하는 반면, 일반 및 스택드 동역학 모델은 정확도가 급격히 떨어진다.
• PPO에 입력으로 사용할 때 CaDM은 CrippledHalfCheetah 및 SlimHumanoid와 같은 복잡한 작업에서 일반화 성능을 향상시켜 이전의 맥락 학습 방법보다 뛰어난 성능을 보였다.
• 절단 실험 결과, 전진 및 역방향 예측 손실을 모두 포함할 경우 일반화 성능이 가장 우수하여 제안된 손실 함수 설계의 타당성을 입증한다.