[논문 리뷰] Physics-as-Inverse-Graphics: Joint Unsupervised Learning of Objects and Physics from Video.

Miguel Jaques, Michael Burke외 1명|arXiv (Cornell University)|2019. 05. 27.

Model Reduction and Neural Networks참고 문헌 43인용 수 16

한 줄 요약

이 논문은 물체나 상태에 대한 감독 없이 영상에서 물체 정체성, 상태 및 물리적 파라미터를 동시에 학습하는 물리학적 역영상 기반 프레임워크를 제안한다. 기계적 물리 엔진과 시각 기반 역영상의 통합을 통해 장기적인 영상 예측의 정확도를 높이고, 복잡한 시스템(예: 볼스프링 및 3체 만유인력 시스템)에서 데이터 효율적이고 해석 가능한 모델 기반 제어를 가능하게 한다.

ABSTRACT

We propose a model that is able to perform unsupervised physical parameter estimation of systems from video, where the differential equations governing the scene dynamics are known, but labeled states or objects are not available. Existing physical scene understanding methods require either object state supervision, or do not integrate with differentiable physics to learn interpretable system parameters and states. We address this problem through a physics-as-inverse-graphics approach that brings together vision-as-inverse-graphics and differentiable physics engines, enabling objects and explicit state and velocity representations to be discovered. This framework allows us to perform long term extrapolative video prediction, as well as vision-based model-predictive control. Our approach significantly outperforms related unsupervised methods in long-term future frame prediction of systems with interacting objects (such as ball-spring or 3-body gravitational systems), due to its ability to build dynamics into the model as an inductive bias. We further show the value of this tight vision-physics integration by demonstrating data-efficient learning of vision-actuated model-based control for a pendulum system. We also show that the controller's interpretability provides unique capabilities in goal-driven control and physical reasoning for zero-data adaptation.

연구 동기 및 목표

• 물체 상태나 레이블이 제공되지 않는 동적 장면에서 비감독적 물리적 파라미터 추정을 가능하게 하기 위해.
• 시각 기반 역영상과 기계적 물리 엔진을 융합하여 물체, 상태, 시스템 역학을 동시에 탐색하기 위해.
• 스프링-질량 또는 만유인력 시스템과 같은 상호작용을 하는 물체를 포함한 시스템에서 장기적인 영상 예측 성능을 향상시키기 위해.
• 해석 가능한 정책을 통해 데이터 효율적이고 영상 기반의 모델 기반 제어를 가능하게 하며, 물리적 추론과 데이터 없이도 적응 가능한 제어를 가능하게 하기 위해.

제안 방법

• 모델은 영상 프레임에서 장면 상태를 재구성하는 과정에서 역영상 과정을 유도하기 위해 기계적 물리 엔진을 미분 가능하게 활용한다.
• 엔드 투 엔드로 미분 가능한 추론을 통해 물체 정체성, 위치, 속도, 물리적 파라미터(예: 스프링 상수, 질량 등)를 동시에 최적화한다.
• 예측된 장면 상태와 물리적 파라미터에서 영상 프레임을 재구성하는 신경 렌더링 헤드를 활용하여 자기지도 학습을 가능하게 한다.
• 기계적 렌더링과 물리 시뮬레이션을 활용하여 영상 재구성 오차를 시각적 동역학과 물리적 동역학 요소를 모두 거쳐 역전파한다.
• 시각적 일致성과 물리적 일치성을 동시에 최적화하여 물체와 그 물리적 성질의 분리된 표현을 학습한다.
• 학습된 물리 모델을 활용해 시각적 관측 기반으로 행동을 계획함으로써 모델 기반 제어를 지원한다.

실험 결과

연구 질문

• RQ1 물체나 상태에 대한 감독 없이도, 시각 시스템이 영상에서 물체와 물리적 파라미터를 동시에 탐지할 수 있는가?
• RQ2 기계적 물리 엔진을 통합한 역영상 모델은 복잡한 동역학 시스템에서 장기적인 영상 예측에 얼마나 잘 일반화되는가?
• RQ3 시각과 기계적 물리 엔진을 밀접하게 통합하면 모델 기반 제어에서 데이터 효율성이 얼마나 향상되는가?
• RQ4 학습된 제어기의 해석 가능성 덕분에 목표 지향적 물리적 추론과 데이터 없이도 적응 가능한 제어가 가능한가?

주요 결과

• 모델은 볼스프링 및 3체 만유인력 시스템에서 기존 비감독 방법보다 유의미하게 높은 장기 예측 정확도를 달성한다.
• 기계적 물리 엔진을 인덕티브 바이어스로 통합함으로써 훈련 시퀀스를 초월한 안정적이고 물리적으로 타당한 외삽이 가능하다.
• 펜듈럼 시스템에서 제한된 시범 데이터로도 데이터 효율적인 영상 기반 모델 기반 제어를 가능하게 하여 베이스라인보다 뛰어난 성능을 보였다.
• 제어기의 해석 가능성 덕분에 목표 지향적 작업에서 데이터 없이도 적응이 가능하며, 재학습 없이도 물리적 추론이 가능하다.
• 감독 없이도 원시 영상에서 분리된 물체 정체성, 위치, 속도, 물리적 파라미터를 성공적으로 탐지하였다.