[논문 리뷰] Learning Latent Dynamics for Planning from Pixels

Danijar Hafner, Timothy Lillicrap외 5명|arXiv (Cornell University)|2018. 11. 12.

Multimodal Machine Learning Applications인용 수 367

한 줄 요약

PlaNet은 픽셀 관찰로부터 잠재 환경 동역학을 학습하고 잠재 공간에서 온라인 모델 예측 제어를 사용해 계획하는 모델 기반 에이전트로, 모델 프리 방법에 비해 훨씬 적은 환경 상호작용으로 강력한 성능을 달성합니다.

ABSTRACT

Planning has been very successful for control tasks with known environment dynamics. To leverage planning in unknown environments, the agent needs to learn the dynamics from interactions with the world. However, learning dynamics models that are accurate enough for planning has been a long-standing challenge, especially in image-based domains. We propose the Deep Planning Network (PlaNet), a purely model-based agent that learns the environment dynamics from images and chooses actions through fast online planning in latent space. To achieve high performance, the dynamics model must accurately predict the rewards ahead for multiple time steps. We approach this using a latent dynamics model with both deterministic and stochastic transition components. Moreover, we propose a multi-step variational inference objective that we name latent overshooting. Using only pixel observations, our agent solves continuous control tasks with contact dynamics, partial observability, and sparse rewards, which exceed the difficulty of tasks that were previously solved by planning with learned models. PlaNet uses substantially fewer episodes and reaches final performance close to and sometimes higher than strong model-free algorithms.

연구 동기 및 목표

• 픽셀 관찰로부터 동역학을 학습해 미지의 환경에서의 계획을 가능하게 한다.
• 결정적 구성요소와 확률적 구성요소를 모두 가진 잠재 동역학 모델을 개발하여 장기 예측의 견고함을 확보한다.
• 잠재 공간에서 다중 단계 예측 정확도를 향상시키기 위해 잠재 오버슈팅을 도입한다.
• 잠재 공간에서의 계획을 입증하여 영상 기반 연속 제어 태스크에서 강력한 성능을 달성한다.
• 계산 시간 경쟁력을 유지하면서 모델 프리 기본 대비 데이터 효율성 향상을 보인다.

제안 방법

• 픽셀로부터 환경 동역학을 모델링하기 위해 결정적·확률적 잠재 전이가 결합된 순환 상태 공간 모델(RSSM)을 사용한다.
• 과거 관찰과 행동으로부터 상태에 대한 잠재적 신념을 추정하는 인코더를 학습하여 POMDP 설정에서 필터링을 가능하게 한다.
• 이미지 렌더링 없이 잠재 공간에서의 행동 시퀀스를 탐색하기 위해 교차 엔트로피 방법(CEM)에 기반한 모델 예측 제어(MPC) 플래너를 적용한다.
• 잠재 오버슈팅을 확장한 변분 바운드를 최적화하여 잠재 공간에서의 다중 단계 예측 정확성을 촉진한다(거리 1..D를 합산).
• 현재 모델로 계획하고 첫 행동을 실행하여 온라인으로 데이터를 수집한 뒤, 매 단계 재계획하는 온라인 학습 루프를 수행한다.
• DeepMind Control Suite의 6개 픽셀 기반 연속 제어 태스크에서 PlaNet을 평가하고 모델 프리 기본 및 변형들과 비교한다.

실험 결과

연구 질문

• RQ1 부분 관찰 가능한 연속 제어 태스크에서 픽셀 관찰로 학습된 잠재 공간에서의 계획이 경쟁력 있는 성능을 낼 수 있는가?
• RQ2 결정적 및 확률적 구성요소를 모두 가진 잠재 동역학 모델이 순수 결정적 모델이나 순수 확률적 모델에 비해 계획 성능을 향상시키는가?
• RQ3 잠재 오버슈팅이 계획 하에서 다중 단계 예측 정확도와 최종 과제 성능을 향상시키는가?
• RQ4 픽셀에서 학습될 때 PlaNet의 데이터 효율성은 최첨단 모델 프리 방법과 비교하여 어떤가?

주요 결과

방법	모달리티	에피소드	Cartpole Swing Up	Reacher Easy	Cheetah Run	Finger Spin	Cup Catch	Walker Walk
A3C	proprioceptive	100,000	558	285	214	129	105	311
D4PG	pixels	100,000	862	967	524	985	980	968
PlaNet (ours)	pixels	1,000	821	832	662	700	930	951
CEM + true simulator	simulator state	0	850	964	656	825	993	994

• PlaNet은 여섯 가지 이미지 기반 연속 제어 태스크에서 강한 최종 성능을 달성하며 때로는 강력한 모델 프리 방법을 능가한다.
• RSSM(결정적 + 확률적 전이)을 사용하는 PlaNet은 작업 전반에 걸쳐 순수 결정적 변형과 순수 확률적 변형보다 더 좋은 성능을 보인다.
• 잠재 오버슈팅은 장기 예측과 계획의 효과를 향상시키지만, RSSM 만으로도 많은 태스크에서 상당한 이점을 제공한다.
• PlaNet은 최상위 모델 프리 방법과 근접하거나 그 이상은 성능을 달성하는 데 약 200배 더 적은 환경 상호작용으로 도달한다.
• 잠재 공간에서의 MPC(CEM)를 이용한 온라인 계획은 안정적인 계획 성능을 제공하고 계획 지평선에 걸친 반복적 정교화의 이점을 얻는다.
• PLA Net with latent Dynamics trained from pixels는 계획 기반 접근법으로는 이전에 도전적였던 부분 관찰성과 희박한 보상을 갖는 태스크를 해결할 수 있다.