[논문 리뷰] Deep Variational Reinforcement Learning for POMDPs

Maximilian Igl, Luisa Zintgraf외 3명|arXiv (Cornell University)|2018. 06. 06.

Reinforcement Learning in Robotics인용 수 20

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)를 해결하기 위해 변분 오토인코더를 사용하여 환경의 생성 모델을 학습하고 잠재 상태에 대한 근사 추론을 수행하는 딥 변분 강화 학습(DVRL)을 제안한다. 증거 하한값(ELBO)과 정책 그래เดียน트 손실을 함께 최적화함으로써 DVRL은 시간에 따라 정보 집약을 향상시키며, 메모리만을 사용하는 RNN 기반 기준 모델보다 산악 등반 및 깜빡임이 나는 아케이드 게임에서 성능을 뛰어넘는다.

ABSTRACT

Many real-world sequential decision making problems are partially observable by nature, and the environment model is typically unknown. Consequently, there is great need for reinforcement learning methods that can tackle such problems given only a stream of incomplete and noisy observations. In this paper, we propose deep variational reinforcement learning (DVRL), which introduces an inductive bias that allows an agent to learn a generative model of the environment and perform inference in that model to effectively aggregate the available information. We develop an n-step approximation to the evidence lower bound (ELBO), allowing the model to be trained jointly with the policy. This ensures that the latent state representation is suitable for the control task. In experiments on Mountain Hike and flickering Atari we show that our method outperforms previous approaches relying on recurrent neural networks to encode the past.

연구 동기 및 목표

• 완전한 상태 정보가 확보되지 않은 부분 관찰 환경에서의 순차적 의사결정 문제를 해결하기 위해.
• 환경의 잠재 동역학에 대한 생성 모델을 학습하여 시간에 따라 정보 집약을 향상시키기 위해.
• 전이 또는 관측 함수에 대한 사전 지식 없이도 잠재 상태에 대한 효과적인 추론을 가능하게 하기 위해.
• ELBO와 강화 학습 목표를 모두 사용하여 생성 모델과 정책을 함께 최적화하기 위해.
• 신뢰 상태 추론이 복잡하고 고차원적이며 부분 관찰 가능한 환경에서 메모리 기반 RNN보다 우수한 성능을 내는지 입증하기 위해.

제안 방법

• DVRL은 환경의 잠재 상태 전이 및 관측 가능도를 포함한 생성 모델을 학습하기 위해 변분 오토인코더를 사용한다.
• 증거 하한값(ELBO)의 n단계 근사를 사용하여 생성 모델과 정책의 공동 학습을 가능하게 한다.
• 입자 기반 신뢰 상태를 유지하고 순차적 몬테 카를로(SMC) 추론을 통해 업데이트하며, 부패 방지를 위해 재표본 추출을 수행한다.
• 정책 네트워크는 신뢰 상태에 조건을 두어 추론된 잠재 상태 분포에 기반한 행동 선택을 가능하게 한다.
• 강화 학습(A2C 스타일의 n단계 정책 그래디언트)과 ELBO 최적화를 결합하여 공유 역전파를 통한 엔드 투 엔드 학습을 허용한다.
• 에ncoder 네트워크는 관측-행동 역사를 처리하여 잠재 상태에 대한 신뢰 분포를 생성하며, 입자 앙상블을 통해 불확실성을 명시적으로 모델링한다.

실험 결과

연구 질문

• RQ1 공동 학습된 생성 모델은 RNN 기반 메모리 네트워크와 비교해 POMDP에서 정보 집약을 향상시킬 수 있는가?
• RQ2 변분 추론을 통한 신뢰 상태 추론을 통합함으로써 부분 관찰 환경에서 더 높은 샘플 효율성과 성능을 달성할 수 있는가?
• RQ3 ELBO와 정책 그래디언트 목표를 함께 최적화함으로써 제어를 위한 잠재 상태 표현의 품질은 어떻게 영향을 받는가?
• RQ4 입자 앙상블 크기와 재표본 추출이 DVRL의 성능에 미치는 영향은 어느 정도인가?
• RQ5 고차원 관측과 스토케스틱 부분 관찰을 포함한 환경에서 DVRL은 RNN 기반 방법보다 더 잘 일반화되는가?

주요 결과

• 산악 등반 환경에서 DVRL은 254.00(±0.45)의 수익을 기록하여 RNN 기준 모델의 238.75(±7.85)보다 유의미하게 뛰어나다.
• 깜빡임이 나는 아케이드 게임에서 DVRL은 모든 테스트 환경에서 RNN보다 높은 수익을 기록했으며, 볼링에서는 30.04(±0.18)를 기록한 반면 RNN은 29.53(±0.23)를 기록했다.
• 제거 실험에서 ELBO 목표를 비활성화한("No ELBO") 경우 성능이 급격히 저하되어 모델 학습에 ELBO의 필요성이 확인되었다.
• 에ncoder를 통해 역전파를 수행하지 않는("No joint optim") 경우 성능이 악화되어 공동 최적화의 중요성이 입증되었다.
• 짧은 역전파 길이는 RNN보다 DVRL에 더 큰 영향을 미쳤으며, 이는 DVRL이 의도한 바와 같이 메모리보다 추론에 더 의존하고 있음을 시사한다.
• 한 개의 입자만을 사용하는 설정은 성능 향상을 위해 필수적이었으며, 단일 입자 설정은 충분한 신뢰 불확실성을 포착하지 못했다.