[논문 리뷰] Structured Object-Aware Physics Prediction for Video Modeling and Planning

Jannik Kossen, Karl Stelzner외 3명|arXiv (Cornell University)|2019. 10. 06.

Human Pose and Action Recognition참고 문헌 48인용 수 18

한 줄 요약

이 논문은 비지도 학습 방식으로 영상 데이터로부터 개체 중심 표현과 물리적 역학을 동시에 학습하는 구조적이고 개체 인식 상태공간 모델인 STOVE를 제안한다. 영상 추론 네트워크와 역학 모델을 결합하고 변분 추론에서 동일한 역학 모델을 재사용함으로써, STOVE는 현실적인 물리 법칙을 반영한 장기 예측 영상을 구현하며, 이는 이전의 비지도 학습 모델을 능가하고 감독 학습 기반 기준에 가까운 성능을 달성하면서도 샘플 효율적인 모델 기반 강화 학습을 가능하게 한다.

ABSTRACT

When humans observe a physical system, they can easily locate objects, understand their interactions, and anticipate future behavior, even in settings with complicated and previously unseen interactions. For computers, however, learning such models from videos in an unsupervised fashion is an unsolved research problem. In this paper, we present STOVE, a novel state-space model for videos, which explicitly reasons about objects and their positions, velocities, and interactions. It is constructed by combining an image model and a dynamics model in compositional manner and improves on previous work by reusing the dynamics model for inference, accelerating and regularizing training. STOVE predicts videos with convincing physical behavior over hundreds of timesteps, outperforms previous unsupervised models, and even approaches the performance of supervised baselines. We further demonstrate the strength of our model as a simulator for sample efficient model-based control in a task with heavily interacting objects.

연구 동기 및 목표

• 객체, 그들의 위치, 속도, 상호작용을 명시적으로 고려하는 통합된 비지도 영상 모델링 프레임워크를 개발하는 것.
• 구조적 영상 모델링과 물리 인식 역학을 조합한 구성적 상태공간 모델을 통해 장기 영상 예측 성능을 향상시키는 것.
• 학습된 모델을 시뮬레이터로 활용하여 계획을 수행함으로써 샘플 효율적인 모델 기반 강화 학습을 가능하게 하는 것.
• 고도로 시각적으로 정교한 복잡한 상호작용 물리 시스템을 다루는 데에 한계를 보이는 이전의 비지도 학습 모델의 문제점을 해결하는 것.

제안 방법

• STOVE는 현재 프레임의 시각적 제안과 이전 상태에서의 역학 기반 제안을 조합하여 객체 상태에 대한 사후 분포를 형성하는 변분 추론 프레임워크를 사용한다.
• 역학 모델은 추론 네트워크에서 재사용되며, 평균 매개변수는 공유하지만 분산은 공유하지 않아 학습을 정규화하고 수렴 속도를 향상시킨다.
• 객체 상태는 공간적 위치, 속도, 외관 특징으로 표현되며, 객체 마스크는 미분 가능한 어텐션 메커니즘을 통해 추론된다.
• 생성 모델은 관측된 프레임의 가능도를 객체 상태 기반으로 효율적으로 계산하기 위해 합-곱 네트워크를 사용한다.
• 모델은 변분 하한(ELBO) 목적함수를 사용하여 확률적 경사 하강법을 통해 엔드 투 엔드로 훈련된다.
• 모델 기반 제어를 위해, 역학 모델은 행동에 조건을 붙이고 보상을 예측하도록 확장되어 몬테카를로 트리 탐색(MCTS)을 통한 계획을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 개체 인식 상태공간 모델은 순수 비지도 설정에서 장기 예측 영상 시퀀스를 현실적인 물리적 상호작용과 함께 학습할 수 있는가?
• RQ2 생성 역학 모델을 추론 네트워크에 재사용할 경우 학습 안정성, 수렴 속도, 예측 성능에 어떤 영향을 미치는가?
• RQ3 명시적인 객체 추론 기능을 갖춘 비지도 영상 모델이 진정한 객체 상태를 제공받는 감독 기반 기준 모델의 성능에 얼마나 근접할 수 있는가?
• RQ4 이러한 모델은 높은 시각적 복잡도를 지닌 환경에서 샘플 효율적인 모델 기반 강화 학습을 위한 효과적인 시뮬레이터로 기능할 수 있는가?

주요 결과

• STOVE는 수백 개의 타임스텝에 걸쳐 매우 현실적인 영상 롤아웃을 생성하여 장기적인 물리적 일관성과 타당한 객체 상호작용을 보여준다.
• 정량적 지표(FVD, LPIPS 등)와 정성적 시각적 품질 측면에서 이전의 비지도 영상 모델을 모두 능가한다.
• STOVE의 성능은 진짜 객체 상태를 제공받는 감독 기반 기준 모델에 근접함을 보여주며, 순수하게 원시 영상 데이터로부터 강력한 일반화 능력을 보임을 시사한다.
• 모델 기반 강화 학습에서 STOVE는 MCTS 기반 에이전트가 모델 자유형 PPO 기준보다 10배 이상 적은 환경 샘플을 사용하여 경쟁 가능한 성능을 달성하도록 한다.
• 추론 과정에서 역학 모델을 재사용함으로써 표준 변분 추론 설정 대비 학습 수렴 속도가 빨라지고 안정성이 향상됨을 확인하였다.
• 모델은 객체 정체성이나 궤적에 대한 명시적 지도 없이도 다수의 객체 간 비선형적 상호작용, 예를 들어 반사 및 충돌 역학을 성공적으로 처리한다.