[논문 리뷰] Recurrent Environment Simulators

Silvia Chiappa, Sébastien Racanière외 2명|arXiv (Cornell University)|2017. 04. 07.

Reinforcement Learning in Robotics참고 문헌 19인용 수 105

한 줄 요약

본 논문은 고차원 관측으로부터 환경의 장기 동역학을 예측하는 순환형 환경 시뮬레이터를 제시하고, 행동-조건부 상태 전이를 도입하며, 다양한 도메인에서 단기 및 장기 정확도의 균형을 맞추는 학습 스키마를 분석한다. 또한 예측에 의존하지 않는 변형을 도입하여 효율성을 개선하고, 모델 기반 탐색에의 활용을 시연한다.

ABSTRACT

Models that can simulate how environments change in response to actions can be used by agents to plan and act efficiently. We improve on previous environment simulators from high-dimensional pixel observations by introducing recurrent neural networks that are able to make temporally and spatially coherent predictions for hundreds of time-steps into the future. We present an in-depth analysis of the factors affecting performance, providing the most extensive attempt to advance the understanding of the properties of these models. We address the issue of computationally inefficiency with a model that does not need to generate a high-dimensional image at each time-step. We show that our approach can be used to improve exploration and is adaptable to many diverse environments, namely 10 Atari games, a 3D car racing environment, and complex 3D mazes.

연구 동기 및 목표

• 계획 및 계획 기반 탐색을 위한 temporally 및 spatially 일관된 환경 모델의 필요성에 대한 동기를 제공합니다.
• 고차원 인지 입력에 대해 작동하는 순환적이며 행동-조건화된 시뮬레이터를 개발합니다.
• 학습 스키마(예측 의존적 전이 대 관찰 의존적 전이)가 단기 및 장기 정확도에 어떤 영향을 미치는지 체계적으로 분석합니다.
• 장기 예측이 관심사일 때 계산 비용을 줄이기 위한 예측-독립적 변형을 도입합니다.
• 다양한 환경에서 접근 방식을 시연하고 모델 기반 탐색에 대한 시사점을 탐구합니다.

제안 방법

• Oh 등(2015)의 순환 시뮬레이터를 행동-조건화 백본으로 확장하여 행동을 상태 전이에 직접 통합합니다.
• 예측-의존적 전이 프레임워크와 다중 스텝 예측 시 고차원 생성을 피하기 위한 선택적 예측-독립적 변형을 도입합니다.
• Observation 처리용 LSTM 기반 백본과 합성곱 인코더/디코더를 활용하여 상태 업데이트를 형식화합니다.
• 수십 단계에 걸친 시간적 및 공간적 일관성을 평가하기 위해 Atari 2600 게임, 무작위로 생성된 3D 미로, TORCS 자동차 경주를 실험합니다.
• 운용 임의 길이, 예측 지평선, PDT(예측-의존적 전이) 비율을 달리하는 학습 스키마를 체계적으로 평가하여 단기 대 장기 정확도를 연구합니다.
• 필요 시 더 긴 지평선을 다루기 위해 시간에 따른 역전파를 잘라 처리합니다.

실험 결과

연구 질문

• RQ1 고차원 입력으로부터 장기 지평선에서 시간적 및 공간적으로 일관된 예측을 생성하는 행동-조건화 순환 모델은 어떻게 가능합니까?
• RQ2 다른 학습 스키마(예측-의존적 전이 대 관찰 의존적 전이)가 단기 및 장기 예측 정확도에 어떤 영향을 미칩니까?
• RQ3 상태 전이에 행동을 직접 포함시키는 것이 환경 다이내믹스 모델링을 개선합니까?
• RQ4 예측-독립적 변형은 계산 비용을 줄이면서 유용한 예측 성능을 유지할 수 있습니까?
• RQ5 이러한 시뮬레이터가 다양한 환경(Atari, 3D 미로, TORCS)에서 모델 기반 탐색을 얼마나 잘 지원합니까?

주요 결과

• 예측-의존적 전이는 특히 복잡한 환경에서 장기 정확도를 향상시키지만 단기 선명도는 희생합니다.
• 관찰 의존적 전이만으로는 대부분의 게임에서 장기 성능이 낮으며, 매우 복잡한 설정에서는 전략의 혼합이 더 바람직할 수 있습니다.
• 더 긴 예측 지평선(T가 클수록) PDT 스키마를 사용할 때 보통 장기 정확도가 향상되지만 단기 품질은 감소할 수 있습니다.
• 시간 축으로의 역전파를 잘라 처리하면 긴 지평선을 관리할 수 있으며, 다중 하위 시퀀스 스키마가 경우에 따라 장기 정확도를 높일 수 있습니다.
• 각 단계에서 차원의 고정된 이미지 생성을 피함으로써 다수의 스텝을 예측할 때 계산을 크게 줄이는 예측-독립적 변형이 존재합니다.
• 더 풍부한 장기 정확도로 학습된 모델은 인간의 플레이에 일반화될 수 있지만, 훈련 중에 보지 못한 정책에 더 민감할 수 있습니다.