[논문 리뷰] Dreaming: Model-based Reinforcement Learning by Latent Imagination without Reconstruction

Masashi Okada, Tadahiro Taniguchi|arXiv (Cornell University)|2020. 07. 29.

Reinforcement Learning in Robotics참고 문헌 37인용 수 9

한 줄 요약

이 논문은 디코더가 없는 모델 기반 강화학습 방법인 Dreaming을 제안한다. 이는 드림어의 자동에코딩 목적을 likelihood-free인 InfoMax 대비 학습 목적으로 대체하여 물체 소실 문제를 해결한다. 선형 동역학과 무작위 컷 오퍼레이션을 통합함으로써, 드림어가 작은 물체 인식 능력이 열악하여 실패하는 어려운 시뮬레이션 로봇 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In the present paper, we propose a decoder-free extension of Dreamer, a leading model-based reinforcement learning (MBRL) method from pixels. Dreamer is a sample- and cost-efficient solution to robot learning, as it is used to train latent state-space models based on a variational autoencoder and to conduct policy optimization by latent trajectory imagination. However, this autoencoding based approach often causes object vanishing, in which the autoencoder fails to perceives key objects for solving control tasks, and thus significantly limiting Dreamer's potential. This work aims to relieve this Dreamer's bottleneck and enhance its performance by means of removing the decoder. For this purpose, we firstly derive a likelihood-free and InfoMax objective of contrastive learning from the evidence lower bound of Dreamer. Secondly, we incorporate two components, (i) independent linear dynamics and (ii) the random crop data augmentation, to the learning scheme so as to improve the training performance. In comparison to Dreamer and other recent model-free reinforcement learning methods, our newly devised Dreamer with InfoMax and without generative decoder (Dreaming) achieves the best scores on 5 difficult simulated robotics tasks, in which Dreamer suffers from object vanishing.

연구 동기 및 목표

• 픽셀에서 작동하는 최첨단 모델 기반 RL 방법인 드림어에서 발생하는 작은 또는 중요한 물체에 대한 재구성 신호가 약해져 발생하는 물체 소실 문제를 해결하기 위해.
• 드림어에서 생성 모델 디코더가 필요 없도록 하여 모델 복잡도와 파라미터 수를 줄이되 성능에 영향을 주지 않기 위해.
• 변동형 ELBO에서 유도된 likelihood-free, 대비 기반 표현 학습 목적을 개발하여 작은 물체 인식에 대한 강건성을 향상시키기 위해.
• 디코더가 없는 MBRL에서 최신 기술 수준의 성능을 달성하기 위해 선형 동역학과 무작위 컷 증강이 필수적인 구성 요소임을 입증하기 위해.

제안 방법

• 드림어의 그래픽 모델의 근거 하한값(ELBO)에서 유도된 likelihood-free, InfoMax 기반의 대비 목적을 도출하여 픽셀 공간 재구성 손실을 대체한다.
• 독립적인 선형 동역학을 도입하여 잠재 공간 표현을 안정화하고 연속된 상태 간의 시간적 일致성을 강제한다.
• 무작위 컷 데이터 증강을 적용하여 인코더가 배경 무늬보다 작업에 관련된 특징에 집중하도록 유도한다.
• 생성 모델 디코더가 필요 없이도, 잠재 상태와 미래 관측치 간의 상호정보량을 최대화하도록 디스커미네이터를 대비 학습을 통해 훈련한다.
• 드림어와 동일한 정책 최적화 파이프라인을 사용하여 호환성과 공정한 비교를 보장한다.
• 대비 학습 목적을 잠재 동역학 모델 훈련에 통합하여, 재구성 없이도 픽셀에서 효과적인 표현 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 디코더가 없는 대비 학습 목적은 시각 기반 제어 작업에서 드림어의 표준 자동에코딩 목적보다 우월한 성능을 낼 수 있는가?
• RQ2 픽셀에서 디코더가 없는 MBRL에서 최신 기술 수준의 성능을 달성하기 위해 필수적인 구성 요소는 무엇인가?
• RQ3 선형 동역학과 무작위 컷 증강의 사용이 표현 품질과 후속 제어 성능을 향상시키는가?
• RQ4 제안된 방법은 드림어가 작은 물체 인식 능력이 열악하여 실패하는 작업에서 물체 소실 문제를 해결할 수 있는가?
• RQ5 어려운 시뮬레이션 로봇 벤치마크에서 디코더가 없는 방법의 성능는 드림어와 최신 기술 수준의 모델리스 RL 방법과 비교해 어떻게 되는가?

주요 결과

• Dreaming은 UR5-reach와 Connector-insert를 포함한 다섯 가지 어려운 시뮬레이션 로봇 작업에서 최신 기술 수준의 성능를 달성하였으며, 드림어가 물체 소실 문제로 실패하는 작업에서 특히 뛰어난 성능를 보였다.
• Cup-catch 작업에서 Dreaming은 100K 환경 스텝에서 925 ± 48의 리워드를 기록하여 동일 조건에서 드림어의 280 ± 437보다 유의미하게 뛰어난 성능를 보였다.
• 절단 실험 결과에서 K=3일 때 오버슈팅 거리가 최적의 성능를 제공하며, 여러 작업에서 가장 높은 리워드를 기록함을 확인하였다.
• 선형 동역학과 무작위 컷 증강의 조합은 필수적이다. 이들 중 어느 하나라도 제거하면 성능에 심각한 하락이 발생하였다.
• Dreaming은 최근의 모델리스 방법들인 SAC와 SAC-Exploration보다 가장 어려운 작업에서 뛰어난 성능를 보이며, 개선된 표현 학습을 통한 모델 기반 계획의 우수성을 입증하였다.
• 어려운 작업에서는 뛰어난 성능를 보였지만, 배경 무늬가 표현 학습에 간섭하는 평면 이동 작업인 Walker-walk에서는 성능가 저하를 보였다.