[논문 리뷰] Imagined Value Gradients: Model-Based Policy Optimization with Transferable Latent Dynamics Models

Arunkumar Byravan, Jost Tobias Springenberg외 7명|arXiv (Cornell University)|2019. 10. 09.

Reinforcement Learning in Robotics참고 문헌 51인용 수 6

한 줄 요약

이 논문은 시각적 및 프로 prioceptive 관측에서 미래 보상과 가치를 예측하기 위해 이식 가능한 잠재 동역학 모델을 사용하는 모델 기반 강화학습 방법인 상상된 가치 기울기(IVG)를 제안한다. 상상된 궤적의 기울기를 통해 정책을 최적화함으로써 IVG는 데이터 효율적이고 강건한 학습을 달성하며, 새로운 보상 또는 간섭 요소가 있는 작업에서 모델 자유 기반 기준선을 능가하는 성능을 보인다.

ABSTRACT

Humans are masters at quickly learning many complex tasks, relying on an approximate understanding of the dynamics of their environments. In much the same way, we would like our learning agents to quickly adapt to new tasks. In this paper, we explore how model-based Reinforcement Learning (RL) can facilitate transfer to new tasks. We develop an algorithm that learns an action-conditional, predictive model of expected future observations, rewards and values from which a policy can be derived by following the gradient of the estimated value along imagined trajectories. We show how robust policy optimization can be achieved in robot manipulation tasks even with approximate models that are learned directly from vision and proprioception. We evaluate the efficacy of our approach in a transfer learning scenario, re-using previously learned models on tasks with different reward structures and visual distractors, and show a significant improvement in learning speed compared to strong off-policy baselines. Videos with results can be found at https://sites.google.com/view/ivg-corl19

연구 동기 및 목표

• 일반적인 목적의 동역학 모델을 학습시켜 시각 기반 강화학습에서 샘플 효율성과 이식 가능성을 향상시키기 위해.
• 근사 모델이 존재하는 상황에서도 상상된 궤적에서 계산된 가치 기울기를 사용해 강건한 정책 최적화를 가능하게 하기 위해.
• 사전 훈련된 잠재 동역학 모델을 새로운 작업에 이식하여 다른 보상 구조나 시각적 간섭 요소가 있는 작업에 적용하기 위해.
• 다중 작업 사전 훈련된 동역학 모델이 새로운 작업에서 일반화 능력과 학습 속도를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 이 방법은 상상된 가치 기울기(IVG)를 통해 훈련된 인코더, 전이, 디코더 네트워크를 사용하여 확률적이고 액션 조건부 잠재 동역학 모델을 학습한다.
• 다양한 가중치를 가진 가치 함수 추정치를 사용하여 잠재 모델의 상상된 롤아웃을 통해 역전파를 수행함으로써 정책 기울기를 계산한다.
• 예측된 미래 가치에서 유도된 가치 기울기를 사용하여 정책을 최적화함으로써 실환경 롤아웃에 의존하지 않고 종단 간 훈련을 가능하게 한다.
• 이식 학습을 위해 인코더, 전이, 디코더는 사전 훈련된 가중치로 초기화된 상태에서 새로운 작업에 대해 미세조정되며, 정책 및 가치 헤드는 다시 시작부터 재학습된다.
• 가치 함수 학습 및 환경 상호작용 중에 액션 최적화를 위해 교차 엔트로피 방법(CEM)을 사용하며, 오차 누적을 줄이기 위해 짧은 롤아웃(N=5)을 사용한다.
• 실환경 상호작용과 상상된 롤아웃을 결합하여 모델을 훈련하며, 미래 수익의 미분 가능 기반 예측을 통해 가치 함수를 추정한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습 접근법이 고차원 시각 제어 작업에서 강건하고 데이터 효율적인 정책 학습을 달성할 수 있는가?
• RQ2 하나의 학습된 잠재 동역학 모델이 다른 보상 함수나 시각적 간섭 요소가 있는 새로운 작업에 효과적으로 이식될 수 있는가?
• RQ3 다양한 소스 작업에서 사전 훈련하면 새로운 타겟 작업에서 일반화 능력과 학습 속도가 향상되는가?
• RQ4 근사 모델에서 유도된 상상된 롤아웃만으로 안정적인 정책 최적화를 달성할 수 있는가?

주요 결과

• IVG는 들어 올리기 및 쌓기와 같은 시각 기반 조작 작업에서 강력한 모델 자유 기반 기준선과 유사한 점근적 성능을 달성한다.
• 특히 저자료 환경에서 오프-폴리시 모델 자유 기반 기준선 대비 상당한 데이터 효율성 향상을 보인다.
• 사전 훈련된 잠재 모델을 사용한 이식 학습은 새로운 작업에서 학습 속도를 크게 향상시키며, 특히 다수의 작업에서 사전 훈련된 소스 모델일 경우 두드러진다.
• 오픈 루프 이미지 및 프로 prioception 재구성은 훈련 수준을 초월해 30~45단계 동안 일관되게 유지되며, 강건한 잠재 동역학 모델링을 나타낸다.
• 이미지 재구성에서 뿌연 이미지가 나오더라도 잠재 공간은 고수준의 작업 관련 특징을 포착하여 효과적인 제어를 가능하게 한다.
• 동역학 모델의 다중 작업 사전 훈련은 고립된 훈련보다 더 빠른 수렴과 더 나은 일반화 능력을 보인다.