[논문 리뷰] Recurrent World Models Facilitate Policy Evolution

David Ha, Jürgen Schmidhuber|arXiv (Cornell University)|2018. 09. 04.

International Development and Aid인용 수 407

한 줄 요약

논문은 컴팩트 컨트롤러(C)를 학습된 세계 모델 내에서 진화시키며 작동하도록 학습한다. 이 세계 모델은 VAE 기반 시각 인코더(V)와 MDN-RNN 다이나믹스 모델(M)로 구성되며, CarRacing-v0 해결과 생성된 VizDoom 환경에서의 학습을 가능하게 하고 실제 환경으로의 전이를 가능하게 한다.

ABSTRACT

A generative recurrent neural network is quickly trained in an unsupervised manner to model popular reinforcement learning environments through compressed spatio-temporal representations. The world model's extracted features are fed into compact and simple policies trained by evolution, achieving state of the art results in various environments. We also train our agent entirely inside of an environment generated by its own internal world model, and transfer this policy back into the actual environment. Interactive version of paper at https://worldmodels.github.io

연구 동기 및 목표

• 시각 입력을 압축하고 미래를 예측하는 세계 모델(V, M)을 비지도 학습으로 훈련하는 것을 시연한다.
• 간단한 컨트롤러(C)가 V와 M의 특징을 사용하여 보상을 최대화하도록 진화할 수 있음을 보여준다.
• 이 접근법을 CarRacing-v0와 VizDoom에서 평가하여 성능 벤치마크를 설정한다.
• 생성된 환경에서 정책을 훈련하고 이를 실제 환경으로 다시 옮겨가는 방법을 탐구한다.

제안 방법

• 합성곱 VAE(V)를 사용하여 각 프레임을 잠재 표현 z로 인코딩한다.
• 다음 잠재 z_{t+1}를 MDN-RNN(M)을 사용하여 분포 P(z_{t+1}|a_t,z_t,h_t)로 모델링한다.
• C를 [z_t, h_t]를 액션 a_t로 매핑하는 작은 선형 모델로 간주하고 CMA-ES로 학습시킨다.
• M의 온도 매개변수 τ를 조정하여 환경의 불확실성을 제어하고 이용 중심의 정책을 방지한다.
• V와 M을 각각(비지도) 학습하고 C를 진화시켜 기대 누적 보상을 최대화한다.
• C가 생성된 환경에서 학습될 수 있고 실제 환경으로 다시 전이될 수 있는 완전한 잠재 공간 RL 설정을 시연한다.

실험 결과

연구 질문

• RQ1 학습된 예측 세계 모델에 의해 안내될 때 진화로 학습된 컴팩트한 컨트롤러가 보상을 최대화할 수 있는가?
• RQ2 압축(V)과 예측(M)을 간단한 C와 결합하면 픽셀에서의 고차원 제어 과제를 해결할 수 있는가?
• RQ3 월드 모델로 생성된 환경 내에서 학습된 에이전트가 정책을 실제 환경으로 다시 이전할 수 있는가?
• RQ4 월드 모델의 불확실성(τ)을 변화시키면 정책의 이용성/전이성에 어떤 영향을 미치는가?

주요 결과

Method	Average Score
DQN	343 ± 18
A3C (continuous)	591 ± 45
A3C (discrete)	652 ± 10
Gym Leader	838 ± 11
V model	632 ± 251
V model with hidden layer	788 ± 141
Full World Model	906 ± 21

• CarRacing-v0에서 V, M, C가 포함된 전체 월드 모델은 906 ± 21를 달성하며, 나열된 이전 심층 RL 방법들을 능가한다.
• 다.z_t와 h_t를 모두 입력으로 사용하는 C는 z_t만 입력으로 사용할 때보다 더 안정적이고 능력 있는 주행을 보여준다(632 ± 251에서 906+으로).
• VizDoom에서 생성된 환경에서 학습한 뒤 실제 게임으로 이전하면 1092 타임스텝을 달성하여 750 목표를 훨씬 상회하고, 가상 환경 점수는 약 918 ± 546이다.
• V와 M은 수작업으로 만든 특징 없이 원시 픽셀로부터 직접 탐색을 가능하게 하여, 작은 선형 컨트롤러로도 경쟁력 있는 결과를 달성한다.
• MDN-RNN 온도 τ를 변화시키면 더 큰 불확실성이 이용가능성을 줄이고 실제 환경으로의 전이를 개선할 수 있음을 보여준다(예: τ = 1.15 근처에서 최상의 전이가 관찰됨).
• 이 접근법은 반복적인 월드 모델 기반 학습과 불확실성 제어를 통한 sim-to-real의 실용적인 경로를 강조한다.