[논문 리뷰] Dream to Control: Learning Behaviors by Latent Imagination

Danijar Hafner, Timothy Lillicrap외 2명|arXiv (Cornell University)|2019. 12. 03.

Reinforcement Learning in Robotics참고 문헌 65인용 수 137

한 줄 요약

Dreamer는 학습된 월드 모델 내에서 잠재적 상상력을 통해 이미지로부터 장기 시점을 학습하고, 상상된 궤적에 대한 해석적 그래디언트를 역전파하여 정책과 값을 최적화하며, 20개 과제에서 데이터 효율적인 시각 제어를 달성한다.

ABSTRACT

Learned world models summarize an agent's experience to facilitate learning complex behaviors. While learning world models from high-dimensional sensory inputs is becoming feasible through deep learning, there are many potential ways for deriving behaviors from them. We present Dreamer, a reinforcement learning agent that solves long-horizon tasks from images purely by latent imagination. We efficiently learn behaviors by propagating analytic gradients of learned state values back through trajectories imagined in the compact state space of a learned world model. On 20 challenging visual control tasks, Dreamer exceeds existing approaches in data-efficiency, computation time, and final performance.

연구 동기 및 목표

• 고차원 시각 관찰로부터 매 단계마다 온라인 플래닝 없이도 장기 제어를 동기부여하고 가능하게 한다.
• 허용된 시야의 한계를 극복하기 위해 잠재 공간에서 행동과 상태 가치 모두를 학습하는 월드 모델 기반 에이전트를 개발한다.
• 잠재 역학을 통한 해석적 그래디언트를 활용하여 상상된 궤적을 사용해 정책을 학습한다.
• 도전적인 시각 제어 과제에서 데이터 효율성과 성능 향상을 입증한다.
• 표현 학습 목표와 지평선 강건성을 기준 방법들과 비교한다.

제안 방법

• 과거 경험으로부터 잠재 동역학 모델을 학습하여 압축된 상태 공간에서 미래 보상을 예측한다.
• 잠재 공간에서 정책으로서의 행동 모델과 가치 모델을 학습하여 상상된 다단계 수익을 극대화한다.
• 잠재 동역학을 통해 해석적 그래디언트를 역전파하여 정책 및 가치 예측을 업데이트한다.
• 상상 속에서 재매개변수화된 액션 샘플러와 Bellman 일관된 가치 타깃을 사용한다 (V_lambda).
• 실제 잠재 상태에서 시작하는 상상된 궤적을 예측하고 이를 최적화하여 실제 정책을 향상시킨다.
• 이미지 입력이 있는 DeepMind Control Suite에서 Dreamer를 평가하고 모델-프리 및 모델 기반 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 매 단계마다 온라인 플래닝 없이도 잠재 상상에 의해 픽셀로부터 장기 제어를 배울 수 있는가?
• RQ2 잠재 공간에서 행동과 상태 값을 모두 예측하는 것이 고정된 상상 지평선을 넘는 강건하고 장기적인 정책을 가능하게 하는가?
• RQ3 표현 학습 목표(재구성, 보상 예측, 혹은 대조학습) 중 어떤 것이 Dreamer의 성능을 가장 잘 뒷받침하는가?
• RQ4 시각 과제에서 데이터 효율성과 최종 성능 측면에서 Dreamer가 온라인 플래닝 및 모델 프리 베이스라인과 어떻게 비교되는가?
• RQ5 Dreamer가 이산적 행동 및 조기 종료가 있는 환경에 적용 가능한가?

주요 결과

• Dreamer는 20개의 시각 제어 과제에서 이전의 모델 기반 및 모델-프리 에이전트보다 데이터 효율성, 계산 시간 효율성 및 최종 성능이 더 우수하다.
• 5e6 환경 스텝 이후, Dreamer는 과제 간 평균 823를 기록하여 PlaNet을 능가하고 더 많은 스텝이 주어지면 최상위 모델-프리 D4PG 성능에 근접하거나 이를 초과한다.
• 상상 속에서 가치 모델을 학습하는 것은 Dreamer를 상상 지평선에 대해 강건하게 만들고 장기적 크레딧 할당을 향상시킨다.
• 재현(pixel reconstruction)을 표현 학습 목표로 삼은 것이 평가된 옵션들 중 대부분의 과제에서 최상의 성능을 낳는다.
• Dreamer는 horizon-limited 상상이나 보상만 접근법으로는 해결하기 어려운 장기 과제들(e.g., acrobot, hopper)을 해결한다.
• Dreamer는 연속적 행동과 이산적 행동 모두에 적용 가능하고 평가에서 조기 종료를 처리할 수 있다.