[논문 리뷰] Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning

Younggyo Seo, Kimin Lee외 4명|arXiv (Cornell University)|2020. 10. 25.

Reinforcement Learning in Robotics인용 수 14

한 줄 요약

이 논문은 다양한 역학적 특성을 가진 환경 간의 일반화를 위해 다중 헤드 역학 모델을 학습하는 모델 기반 강화학습 방법인 궤적 기반 다중 선택 학습(Trajectory-wise Multiple Choice Learning, T-MCL)을 제안한다. 궤적 기반 오라클 손실을 사용해 각 역학 군집과 맥락 학습을 통해 온라인 적응을 가능하게 함으로써, T-MCL은 기존 방법보다 CrippledAnt 환경에서 평균 수익에서 3.5배 높은 성능을 기록하며 뛰어난 제로샷 일반화 성능을 달성한다.

ABSTRACT

Model-based reinforcement learning (RL) has shown great potential in various control tasks in terms of both sample-efficiency and final performance. However, learning a generalizable dynamics model robust to changes in dynamics remains a challenge since the target transition dynamics follow a multi-modal distribution. In this paper, we present a new model-based RL algorithm, coined trajectory-wise multiple choice learning, that learns a multi-headed dynamics model for dynamics generalization. The main idea is updating the most accurate prediction head to specialize each head in certain environments with similar dynamics, i.e., clustering environments. Moreover, we incorporate context learning, which encodes dynamics-specific information from past experiences into the context latent vector, enabling the model to perform online adaptation to unseen environments. Finally, to utilize the specialized prediction heads more effectively, we propose an adaptive planning method, which selects the most accurate prediction head over a recent experience. Our method exhibits superior zero-shot generalization performance across a variety of control tasks, compared to state-of-the-art RL methods. Source code and videos are available at https://sites.google.com/view/trajectory-mcl.

연구 동기 및 목표

• 실세계 로봇 응용 사례와 같이 예측할 수 없는 방식으로 역학이 변화할 경우 모델 기반 강화학습에서의 일반화 성능이 열 劣하는 문제를 해결하기 위해.
• 사전 환경 지식 없이도 다중 모드 전이 분포를 포괄할 수 있는 역학 모델을 학습하기 위해.
• 맥락 조건부 모델링을 통해 예측할 수 없는 환경에 대한 온라인 적응을 가능하게 하기 위해.
• 최근 경험 기반으로 가장 적절한 예측 헤드를 동적으로 선택함으로써 계획의 효율성과 정확도를 향상시키기 위해.
• 다양한 역학 특성을 가진 다양한 제어 작업 전반에서 뛰어난 제로샷 일반화 성능을 달성하기 위해.

제안 방법

• 궤적 기반 오라클 손실을 도입하여 궤적 세그먼트 동안 가장 정확한 예측 헤드만 업데이트함으로써, 역학 유사성에 기반한 환경의 무 supervision 클러스터링을 가능하게 한다.
• 잠재 맥락 벡터가 과거 경험을 인코딩하여 환경 특화된 역학에 따라 예측을 조건화하는 맥락 조건부 다중 헤드 역학 모델을 활용한다.
• 최근 경험 영역에서 가장 정확한 예측 헤드를 선택하는 적응형 계획을 사용함으로써, 근접한 역학 군집을 효과적으로 탐색한다.
• 각 역학 모드에서의 전문화를 유도하는 새로운 손실 함수를 사용해 다중 헤드 모델을 엔드 투 엔드로 훈련함으로써 명시적 지도 없이도 학습한다.
• 다양한 헤드를 가진 잠재 역학 모델을 활용하며, 각 헤드는 특정 역학 군집의 전이를 예측하도록 학습한다.
• t-SNE 시각화를 통해 맥락 임bedding이 역학 유형에 따라 분리됨을 확인하여 효과적인 표현 학습을 검증한다.

실험 결과

연구 질문

• RQ1 명시적 클러스터링 지도 없이도 다중 헤드 역학 모델이 서로 다른 역학 군집에서 전문화될 수 있는가?
• RQ2 맥락 학습이 변화된 역학을 가진 예측할 수 없는 환경에 대한 제로샷 적응을 어떻게 향상시키는가?
• RQ3 가장 높은 성능을 보이는 예측 헤드를 선택하는 적응형 계획이 샘플 효율성과 최종 성능을 향상시키는가?
• RQ4 예측 헤드 수나 계획 수평 등의 하이퍼파라미터 선택에 대해 이 방법은 얼마나 강건한가?
• RQ5 궤적 기반 오라클 손실 학습이 기존의 다중 헤드 또는 앙상블 방법보다 더 나은 일반화 성능을 내는가?

주요 결과

• T-MCL은 CrippledAnt 환경에서 CaDM보다 평균 수익이 3.5배 높아 최신 기술(SOTA) 수준의 제로샷 일반화 성능을 입증한다.
• 맥락 학습을 제거하면 성능이 급격히 떨어지며, 이는 예측할 수 없는 역학에 대한 온라인 적응을 가능하게 하는 데서 맥락 학습의 핵심적 역할을 확인한다.
• t-SNE 시각화를 통해 맥락 임베딩이 역학 유형에 따라 분리됨을 확인하여, 환경이 역학 유형에 따라 효과적으로 클러스터링됨을 입증한다.
• H=3개의 예측 헤드를 사용할 경우 성능이 최고에 이르며, 이는 HalfCheetah 환경의 다중 모드성을 포괄하기 위해 세 개의 헤드로도 충분함을 시사한다.
• 궤적 기반 손실의 수평(M)과 적응형 계획의 수평(N)에 대한 변동에 대해 성능이 향상됨에 따라 수평이 증가함에 따라 성능이 향상됨을 확인하여 이 방법이 강건함을 입증한다.
• 맥락 학습 없이도 T-MCL은 PETS 및 기타 베이스라인을 능가함을 통해 궤적 기반 학습 메커니즘이 매우 효과적임을 확인한다.