[논문 리뷰] Entity Abstraction in Visual Model-Based Reinforcement Learning

Rishi Veerapaneni, John D. Co-Reyes외 6명|arXiv (Cornell University)|2019. 10. 28.

Reinforcement Learning in Robotics참고 문헌 65인용 수 32

한 줄 요약

OP3는 라벨 없이도 원시 시각 관측에서 물체 표현을 탐지하고 결합하는 완전히 확률적인 엔티티 중심 프레임워크를 제안한다. 공통의 국소 함수를 통해 엔티티 추상화(엔티티의 대칭적 처리)를 강제함으로써, 새로운 물체 구성과 수에 일반화되며, 블록 쌓기 작업에서 감독 기반 기준 모델과 최신 비디오 예측 모델보다 정확도 2–3배 향상된다.

ABSTRACT

This paper tests the hypothesis that modeling a scene in terms of entities and their local interactions, as opposed to modeling the scene globally, provides a significant benefit in generalizing to physical tasks in a combinatorial space the learner has not encountered before. We present object-centric perception, prediction, and planning (OP3), which to the best of our knowledge is the first fully probabilistic entity-centric dynamic latent variable framework for model-based reinforcement learning that acquires entity representations from raw visual observations without supervision and uses them to predict and plan. OP3 enforces entity-abstraction -- symmetric processing of each entity representation with the same locally-scoped function -- which enables it to scale to model different numbers and configurations of objects from those in training. Our approach to solving the key technical challenge of grounding these entity representations to actual objects in the environment is to frame this variable binding problem as an inference problem, and we develop an interactive inference algorithm that uses temporal continuity and interactive feedback to bind information about object properties to the entity variables. On block-stacking tasks, OP3 generalizes to novel block configurations and more objects than observed during training, outperforming an oracle model that assumes access to object supervision and achieving two to three times better accuracy than a state-of-the-art video prediction model that does not exhibit entity abstraction.

연구 동기 및 목표

• 전역 환경 표현이 아닌 엔티티와 그 국소 상호작용을 통해 장면을 모델링하여, 시각 기반 모델 강화학습의 일반화 성능을 향상시키는 것.
• 라벨 없이도 원시 시각 관측에서 추상적 엔티티 변수를 실제 세계의 물체에 정착시키는 과제를 해결하는 것.
• 엔티티 표현 간 대칭성을 강제함으로써 조합적으로 복잡한 다중 물체 환경에서의 확장 가능한 추론을 가능하게 하는 것.
• 시간 연속성과 상호작용 피드백을 이용해 동적으로 추론된 엔티티 상태를 기반으로 계획 및 예측을 수행할 수 있는 프레임워크를 개발하는 것.
• 동적 확률 모델에서 엔티티를 잠재 랜덤 변수로 간주함으로써, 기호적 추론과 연속적·고차원 시각 데이터를 연결하는 것.

제안 방법

• 잠재 상태를 국소 엔티티 변수로 분해하는 상태 분리형 POMDP를 제안하며, 각 엔티티는 공통의 대칭적 함수를 통해 처리되어 엔티티 추상화를 강제한다.
• 시간 연속성과 행동-관측 피드백을 활용해 엔티티 변수에 대한 사후 분포를 개선하는 상호작용 기반 추론 알고리즘을 적용한다.
• 시간에 따라 엔티티 상태를 전파하는 동역학 모델을 통합하여, 혼잡하거나 가림이 있는 장면에서 물체를 더 잘 구분할 수 있도록 한다.
• 관측 및 행동 시퀀스로부터 엔티티 표현을 효율적으로 추론하기 위해 약화된 반복 변분 추론을 사용한다.
• 예측된 엔티티 상태와 행동을 기반으로 미래 관측을 예측하기 위해 미분 가능하고 확률적인 관측 모델을 적용한다.
• 동일한 엔티티 중심 동역학 및 관측 모델을 사용해 예측된 향후 엔티티 상태를 목표 상태와 비교함으로써 계획을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔티티 중심의 국소 상호작용을 통해 장면을 모델링하면, 훈련 중에 본 바와 다른 물체 구성과 수에 대해 일반화 성능이 향상되는가?
• RQ2 오직 원시 시각 관측과 시간적 피드백만을 사용해 엔티티 표현을 실제 환경의 물체에 정착시킬 수 있는가?
• RQ3 엔티티 처리 함수 간 대칭성 강제(엔티티 추상화)가 더 나은 확장성과 새로운 다중 물체 조합으로의 전이 성능 향상에 기여하는가?
• RQ4 시간적 일관성과 함께 상호작용 기반 추론이 가림과 혼잡이 있는 복잡한 실세계 장면에서 물체의 구분을 향상시키는가?
• RQ5 예측 정확도와 계획 성능 측면에서 엔티티 추상화는 전역 모델링 또는 순열 민감 모델링보다 어떻게 비교되는가?

주요 결과

• OP3는 훈련 중에 본 바와 다른 블록 구성과 더 많은 물체에 대해 일반화되며, 강력한 조합적 일반화 능력을 보여준다.
• OP3는 지식이 있는 모델(정답 물체 라벨에 접근 가능)보다도 예측 정확도에서 최신 기술 비디오 예측 모델보다 2–3배 높은 성능을 달성한다.
• 실세계 평가에서 OP3는 시간 역학과 행동 피드백을 활용해 로봇 암, Towels, 컨테이너 등의 물체를 성공적으로 구분한다. 반면 IODINE(프레임 단위로 적용)는 색상 분할을 넘어서지 못한다.
• 상호작용 기반 추론 과정을 통해 OP3는 시간 단위 간 엔티티 표현을 개선하며, 예측 오차를 이용해 잠재 할당을 수정함으로써 물체 분할 정확도를 향상시킨다.
• OP3는 가림과 변형 가능한 물체가 있는 상황에서도 물체 추적 및 분할의 시간 일관성을 유지하며, 비동적 기반 모델보다 뛰어난 성능을 보인다.
• 엔티티 추상화를 강제함으로써 다양한 물체 구성 간 지식 전이가 가능해져, 동일한 함수를 어떤 수나 배열의 물체에나 균일하게 적용할 수 있다.