[논문 리뷰] PlayVirtual: Augmenting Cycle-Consistent Virtual Trajectories for Reinforcement Learning

Tao Yu, Cuiling Lan외 4명|arXiv (Cornell University)|2021. 06. 08.

Reinforcement Learning in Robotics인용 수 14

한 줄 요약

PlayVirtual는 잠재 공간에서 사이클 일관성 있는 가상 상태-행동 궤적을 생성함으로써 딥 강화학습의 데이터 효율성을 향상시키는 자기지도 학습 방법을 제안한다. 증강된 행동에서 미래 및 과거 상태를 예측하는 전진 및 후진 동역학 모델을 사용하여 사이클 일관성을 강제함으로써 특징 표현 학습을 정규화하고, 오직 100만 개의 환경 상호작용으로도 Atari 및 DMControl에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Learning good feature representations is important for deep reinforcement learning (RL). However, with limited experience, RL often suffers from data inefficiency for training. For un-experienced or less-experienced trajectories (i.e., state-action sequences), the lack of data limits the use of them for better feature learning. In this work, we propose a novel method, dubbed PlayVirtual, which augments cycle-consistent virtual trajectories to enhance the data efficiency for RL feature representation learning. Specifically, PlayVirtual predicts future states in the latent space based on the current state and action by a dynamics model and then predicts the previous states by a backward dynamics model, which forms a trajectory cycle. Based on this, we augment the actions to generate a large amount of virtual state-action trajectories. Being free of groudtruth state supervision, we enforce a trajectory to meet the cycle consistency constraint, which can significantly enhance the data efficiency. We validate the effectiveness of our designs on the Atari and DeepMind Control Suite benchmarks. Our method achieves the state-of-the-art performance on both benchmarks.

연구 동기 및 목표

• 실제 궤적이 제한적인 상황에서 딥 강화학습의 데이터 비효율성 문제를 해결하기 위해.
• 기본 상태 레이블에 의존하지 않고 특징 표현 학습을 향상시키기 위해.
• 사이클 일관성 예측을 통해 다양한 가상 상태-행동 궤적을 생성함으로써 데이터 효율성을 향상시키기 위해.
• 특징 인코더와 동역학 모델을 동시에 정규화하는 자기지도 보조 과제를 설계하기 위해.
• 최소한의 실제 세계 경험을 사용하여 표준 RL 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 전진 동역학 모델은 현재 잠재 상태와 샘플된 행동에서 미래 잠재 상태를 예측한다.
• 후진 동역학 모델은 예측된 미래 상태와 동일한 행동 시퀀스에서 과거 잠재 상태를 예측한다.
• 가상 궤적은 전진 및 후진 예측을 조합하여 생성되며, 이를 통해 사이클을 형성한다.
• 원래의 현재 상태와 후진 예측을 통해 재구성된 상태 간의 거리를 최소화함으로써 사이클 일관성을 강제한다.
• 잠재 특징에 대해 프로젝션 헤드를 사용한 대조 손실을 적용하여 표현 품질을 향상시킨다.
• 주된 RL 정책과 함께 엔드 투 엔드로 훈련되며, 보상 신호와 사이클 일관성 손실 이외의 신호를 사용하지 않는다.

실험 결과

연구 질문

• RQ1 기본 상태 레이블 없이도 가상 궤적 생성이 딥 강화학습의 데이터 효율성을 향상시킬 수 있는가?
• RQ2 실제 데이터가 부족한 상황에서 사이클 일관성은 특징 표현을 정규화하는 데 얼마나 효과적인가?
• RQ3 잠재 공간에서 행동을 증강하는 것이 표준 데이터 증강보다 더 나은 정책 학습을 이끌어내는가?
• RQ4 정규화와 최적화 안정성의 균형을 고려할 때 최적의 가상 궤적 수는 얼마인가?
• RQ5 잠재 공간 또는 투영된 공간에서 거리 측정 기준의 선택이 성능에 어떤 영향을 미치는가?

주요 결과

• PlayVirtual는 Atari-100k에서 인간 정규화 점수 47.2%를 기록하여 베이스라인 대비 10.1% 향상되고, 최신 기준 성능을 달성한다.
• DMControl-100k에서 PlayVirtual는 중앙값 점수 797.0을 기록하여 베이스라인 대비 70.5점 향상된다.
• Atari에서 사이클 일관성 손실에 투영된 공간($\mathcal{M}_{proj}$)을 사용할 경우 원시 잠재 공간($\mathcal{M}_{latent}$)보다 성능이 뛰어나 2.4% 향상된다.
• 최적의 가상 궤적 수($M$)는 약 $3|\mathcal{A}|$이며, $M$이 너무 크거나 너무 작을 경우 성능이 떨어진다.
• 주요 성능 향상 요인은 동역학 모델이 아닌 특징 인코더의 정규화에서 기인하며, 이는 개선된 표현 학습이 핵심임을 시사한다.
• 이 방법은 데이터 효율성을 크게 향상시키며, 오직 100만 개의 환경 상호작용으로도 최신 기준 성능을 달성하여 Atari에서 인간 수준의 성능에 근접한다.