[논문 리뷰] Generative Temporal Models with Spatial Memory for Partially Observed Environments

M. Fraccaro, Danilo Jimenez Rezende외 4명|arXiv (Cornell University)|2018. 04. 25.

Artificial Intelligence in Games인용 수 19

한 줄 요약

이 논문은 부분적으로 관찰된 2D 및 3D 환경에서 장기 예측을 가능하게 하는 공간 기억을 갖춘 확장 가능한 동작 조건 기반 생성 시간 모델(GTM-SM)을 제안한다. 상태공간 모델과 변분 자동인코더(Variational Auto-Encoder)를 사용해 저차원의 에이전트 동역학과 고차원의 시각적 관측을 분리하고, 분리된 표현을 기반으로 가속화된 신경 사전(Differentiable Neural Dictionary, DND)에 저장함으로써, 복잡한 기억 주소 지정 메커니즘을 학습하지 않아도 수백 개의 시간 단위에 걸쳐 일관되고 종단 간 생성이 가능해진다.

ABSTRACT

In model-based reinforcement learning, generative and temporal models of environments can be leveraged to boost agent performance, either by tuning the agent's representations during training or via use as part of an explicit planning mechanism. However, their application in practice has been limited to simplistic environments, due to the difficulty of training such models in larger, potentially partially-observed and 3D environments. In this work we introduce a novel action-conditioned generative model of such challenging environments. The model features a non-parametric spatial memory system in which we store learned, disentangled representations of the environment. Low-dimensional spatial updates are computed using a state-space model that makes use of knowledge on the prior dynamics of the moving agent, and high-dimensional visual observations are modelled with a Variational Auto-Encoder. The result is a scalable architecture capable of performing coherent predictions over hundreds of time steps across a range of partially observed 2D and 3D environments.

연구 동기 및 목표

• 고차원 상태 벡터로 인해 표준 RNN이 실패하는 부분적으로 관찰된 3D 환경에서의 장기 시각적 예측 문제를 해결한다.
• 복잡한 공간 환경에서의 파rametric 메모리 모델의 한계를 극복하기 위해 비파라미터릭 공간 기억 시스템을 도입한다.
• 구조화된 기억과 동역학 사전 지식을 활용해 고차원 시각적 관측을 수백 개의 시간 단위에 걸쳐 스케일러블하고 일관성 있는 방식으로 생성한다.
• 미래의 모델 기반 강화 학습을 통한 공간 작업 계획에 통합 가능한 모델을 개발한다.

제안 방법

• 잠재 상태를 저차원의 동역학 벡터(에이전트 위치)와 고차원의 시각적 표현(프레임 인코딩)으로 분해한다.
• 이동 물리학에 대한 사전 지식을 통합한 상태공간 모델을 사용해 에이전트 동역학을 모델링하고, 진짜 이동 거리에 대한 회귀 손실을 통해 전이 파rameter를 학습한다.
• 변분 자동인코더(VAE)를 사용해 시각적 관측을 인코딩함으로써 분리된 고용량의 표현을 학습한다.
• 위치-시각적 표현 쌍을 기반으로 기반한 비파라미터릭 메모리인 기반 신경 사전(DND)에 저장한다.
• 현재 추정된 위치를 기반으로 DND에서 유사한 과거 상태를 검색하고, 동역학을 앞으로 전파함으로써 장기 예측을 수행한다.
• 에이전트 궤적의 영상 시퀀스와 해당 동작 시퀀스를 사용해 모델을 종단 간으로 훈련한다.

실험 결과

연구 질문

• RQ1 공간 기억을 갖춘 생성 모델이 부분적으로 관찰된 3D 환경에서 일관된 장기 예측을 달성할 수 있는가?
• RQ2 동역학과 시각적 표현을 분리함으로써 표준 RNN에 비해 확장성과 훈련 안정성이 향상되는가?
• RQ3 복잡한 주의 메커니즘을 요구하지 않는 비파라미터릭 메모리인 DND가 파라미터화된 메모리 주소 지정 방식을 능가하는가?
• RQ4 다양한 방과 복잡한 질감을 가진 더 큰 환경으로 일반화할 수 있는가?
• RQ5 단일 탐색 단계 이후에 제로샷 예측 성능은 어느 정도인가?

주요 결과

• GTM-SM 모델은 단일 방 3D 환경에서 최대 300개의 시간 단위에 걸쳐 일관된 시각적 예측을 성공적으로 생성하였으며, 벽과 바닥의 정확한 재구성이 가능했다.
• 297개의 시간 단위에 걸쳐 에이전트 이동 거리를 높은 정확도로 예측함으로써 강력한 장기 동역학 모델링 능력을 입증했다.
• 총 450개의 시간 단위에 이르는 다중 방 환경에서도 질감과 구조적 생성이 일관성을 유지하여 단일 방을 초월한 확장성을 입증했다.
• 복잡한 물체 질감을 렌더링하지 못함으로써 VAE 기반의 시각적 표현 학습이 매우 다양한 시각 패턴에 한계를 가짐을 시사했다.
• 학습된 기억 주소 지정 메커니즘이 없는 점으로 인해 기존의 Gemici 등(2017)의 모델보다 더 빠르고 안정적인 훈련이 가능했다.
• 진짜 이동 거리에 대한 회귀 손실을 사용한 상태공간 모델이 전이 정확도와 장기 예측 정밀도를 크게 향상시켰다.