[논문 리뷰] Structured World Belief for Reinforcement Learning in POMDP

Gautam B. Singh, Skand Vishwanath Peri외 3명|arXiv (Cornell University)|2021. 07. 19.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 부분 관찰 환경에서 강화 학습을 위한 객체 중심 세계 모델인 구조화된 세계 믿음(Structured World Belief, SWB)을 제안한다. SWB는 객체 영속성과 믿음 상태를 통합하여, 부분 관찰 조건 하에서도 강력하고 장기적인 객체 추적을 가능하게 하며, 기존의 객체 중심 또는 믿음 표현만을 사용하는 모델에 비해 영상 생성, 계획, 강화 학습 과제에서 성능을 크게 향상시킨다.

ABSTRACT

Object-centric world models provide structured representation of the scene and can be an important backbone in reinforcement learning and planning. However, existing approaches suffer in partially-observable environments due to the lack of belief states. In this paper, we propose Structured World Belief, a model for learning and inference of object-centric belief states. Inferred by Sequential Monte Carlo (SMC), our belief states provide multiple object-centric scene hypotheses. To synergize the benefits of SMC particles with object representations, we also propose a new object-centric dynamics model that considers the inductive bias of object permanence. This enables tracking of object states even when they are invisible for a long time. To further facilitate object tracking in this regime, we allow our model to attend flexibly to any spatial location in the image which was restricted in previous models. In experiments, we show that object-centric belief provides a more accurate and robust performance for filtering and generation. Furthermore, we show the efficacy of structured world belief in improving the performance of reinforcement learning, planning and supervised reasoning.

연구 동기 및 목표

• 부분 관찰 환경에서 강화 학습을 위한 기존의 객체 중심 세계 모델에서 믿음 상태와 객체 영속성의 부재를 해결하기 위해.
• 장시간의 가림과 비결정적인 재등장 조건 하에서도 장기적인 객체 추적을 가능하게 하기 위해.
• 순차 몬테카를로(SMC) 기반의 추론을 통해 객체 중심 표현과 믿음 상태 추정을 융합하여 추론 성능과 강건성을 향상시키기 위해.
• 영상 생성 및 하류 강화 학습/계획 과제를 동시에 지원하는 기울기 기반(end-to-end) 프레임워크를 개발하기 위해.

제안 방법

• 다양한 객체 중심 장면 가설을 입자(particule)로 유지하기 위해 순차 몬테카를로(SMC)를 활용하여 각 입자는 가능한 세계 상태를 표현한다.
• 객체 존재(파일)와 가시성(슬롯)을 분리하는 새로운 객체 중심 역학 모델을 도입하여 객체 영속성을 강제한다.
• 장시간의 가림 후 비결정적인 먼 거리에서 재등장하는 객체에 다시 연결하는 데 어려움을 해결하기 위해 파일-슬롯 매칭 메커니즘을 제안한다.
• 고정된 주의 제약을 초월하여 이미지의 어떤 위치든에 대해 융통성 있는 공간 주의를 허용하는 학습 가능한 주의 메커니즘을 활용한다.
• 세계 모델과 제안 분포를 동시에 학습하기 위해 자동에코딩 SMC 목적함수를 사용하여 오차에 대한 내성을 확보하고 다양한 타당한 가설을 유지한다.
• 운동량-오프셋 기반의 위치 예측과 함께 RNN 기반 상태 전이 모델링을 통합하여 동적인 객체 운동을 모델링한다.

실험 결과

연구 질문

• RQ1 객체 중심 표현과 믿음 상태를 효과적으로 융합하여 부분 관찰 환경에서의 성능 향상을 이룰 수 있는가?
• RQ2 다양한 SMC 기반 프레임워크에서 객체 영속성을 기울기 기반 방식으로 모델링하여 장시간의 가림 동안에도 객체 정체성을 유지할 수 있는가?
• RQ3 비결정적이고 먼 거리에서 재등장하는 객체에 다시 연결하는 데 필요한 메커니즘은 무엇인가?
• RQ4 객체 중심 믿음의 통합이 영상 생성, 계획, 강화 학습과 같은 하류 과제에서 성능 향상에 어떻게 기여하는가?
• RQ5 SMC 입자의 수를 늘일수록 복잡한 POMDP 환경에서 믿음 추론의 정확성과 강건성이 어느 정도 향상되는가?

주요 결과

• SWB는 영상 모델링, 생성, 추적 과제에서 객체 중심 표현만 또는 믿음 표현만을 사용하는 모델보다 성능이 뛰어나다.
• 정확하고 다양한, 지속적인 객체 중심 믿음 상태를 유지함으로써 강화 학습과 계획 과제에서 성능 향상을 달성한다.
• SMC 입자의 수를 늘일수록 믿음 추정의 정확도와 하류 과제 성능이 향상되어 이론적 확장성의 가능성을 입증한다.
• 파일-슬롯 매칭 메커니즘은 장시간의 가림 후에도 신뢰성 있게 객체를 재연결할 수 있게 하여 추적의 강건성을 크게 향상시킨다.
• 자동에코딩 SMC 목적함수를 통해 추적 오류를 유연하게 처리하면서도 다양한 타당한 장면 가설을 유지할 수 있다.
• 실증 결과에 따르면, SWB는 2D 미로와 3D 음식 쫓기 환경를 포함한 2D 및 3D POMDP 벤치마크에서 최신 기술 수준의 성능을 달성한다.