[논문 리뷰] Shaping Belief States with Generative Environment Models for RL

Karol Gregor, Danilo Jimenez Rezende외 4명|arXiv (Cornell University)|2019. 06. 21.

Reinforcement Learning in Robotics참고 문헌 56인용 수 16

한 줄 요약

이 논문은 제1인칭 관측에서 복잡한 3D 환경에서 안정적이고 장기적인 믿음 상태를 학습하기 위해 예측 모델링과 오버슈팅을 활용한 표현력 있는 생성형 환경 모델을 제안한다. 정책 네트워크와 생성 모델 간에 이러한 믿음 상태를 공유함으로써, 학습 속도를 희생시키지 않은 채 강화학습에서 상당한 데이터 효율성 향상을 달성한다.

ABSTRACT

When agents interact with a complex environment, they must form and maintain beliefs about the relevant aspects of that environment. We propose a way to efficiently train expressive generative models in complex environments. We show that a predictive algorithm with an expressive generative model can form stable belief-states in visually rich and dynamic 3D environments. More precisely, we show that the learned representation captures the layout of the environment as well as the position and orientation of the agent. Our experiments show that the model substantially improves data-efficiency on a number of reinforcement learning (RL) tasks compared with strong model-free baseline agents. We find that predicting multiple steps into the future (overshooting), in combination with an expressive generative model, is critical for stable representations to emerge. In practice, using expressive generative models in RL is computationally expensive and we propose a scheme to reduce this computational burden, allowing us to build agents that are competitive with model-free baselines.

연구 동기 및 목표

• 자기지도 생성 모델링을 통해 부분 관측된, 시각적으로 rich한 3D 환경에서 안정적이고 장기적인 믿음 상태를 학습하는 방법을 개발하는 것.
• 표현력 있는 아키텍처와 오버슈팅을 도입하여 생성 모델의 장기 예측의 불안정성을 해결하는 것.
• 정책 네트워크와 생성 모델 간의 믿음 상태 공유를 통해 강화학습의 데이터 효율성을 향상시키는 것.
• 예측 모델링과 표현력 있는 생성 모델을 통해 에이전트가 3D 환경에서 구조물을 쌓는 것과 같은 복잡한 행동을 학습할 수 있도록 하는 것.

제안 방법

• 에이전트는 제1인칭 시각적 관측과 행동에서 믿음 상태를 유지하기 위해 순환 신경망(RNN)을 사용한다.
• 별도의 시뮬레이션 네트워크(SimCore)는 새로운 관측을 받지 않고 환경에서 행동을 전개하여 향후 상태를 예측한다.
• 생성 모델은 시뮬레이션된 믿음 상태에서 미래 프레임을 재구성하며, 다단계 오버슈팅을 포함한 예측 목표를 사용한다.
• 믿음 상태는 정책 네트워크와 생성 모델 간에 공유되어 공동 학습이 가능해지고 데이터 효율성이 향상된다.
• 세 가지 믿음 상태 아키텍처를 평가한다: 표준 LSTM, 칸에바 메모리가 있는 LSTM, 슬롯 기반 메모리가 있는 LSTM.
• 전역 일관성과 장기 일관성을 장려하기 위해 대조 손실과 예측 목표를 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 예측 목표로 훈련된 표현력 있는 생성 모델은 시각적으로 복잡한 3D 환경에서 안정적이고 장기적인 믿음 상태를 형성할 수 있는가?
• RQ2 다단계 예측에서 오버슈팅이 학습된 표현의 안정성과 일관성에 어떻게 기여하는가?
• RQ3 정책과 생성 모델 간 믿음 상태 공유가 강화학습에서 데이터 효율성에 얼마나 기여하는가?
• RQ4 이러한 시스템은 3D 환경에서 구조물을 쌓는 것과 같은 복잡하고 장기적인 행동을 학습시키는 데 기여할 수 있는가?

주요 결과

• 표현력 있는 생성 모델과 오버슈팅의 조합은 환경의 전반적 구조와 에이전트의 위치를 포괄하는 안정적이고 일관성 있는 믿음 상태를 생성한다.
• 생성 모델과 믿음 상태를 공유하는 에이전트는 강력한 모델리스 기반 보다 여러 RL 작업에서 상당한 데이터 효율성 향상을 달성한다.
• 행동만을 사용해 향후 상태를 시뮬레이션하는 SimCore 구성 요소는 성능을 향상시키고 하이퍼파ram터 및 전개 길이에 대한 민감도를 감소시킨다.
• 모델은 볼록 기반 환경에서 높은 곳이나 간격을 넘어서는 음식 블록에 도달하기 위해 계단과 탑을 쌓는 것을 학습하는 데 성공했다.
• 칸에바 메모리는 복원 성능을 향상시켰지만 RL 학습 설정에서는 불안정한 것으로 나타나, 메모리 아키텍처에 대한 추가 연구가 필요하다고 제안한다.
• 이 방법은 3D 환경에서 제1인칭 시점에서 자원을 수집하고 복잡한 구조물을 건축하는 것을 학습하는 데 있어 첫 번째 에이전트 중 하나를 가능하게 했다.