[논문 리뷰] Physics-as-Inverse-Graphics: Unsupervised Physical Parameter Estimation from Video

Miguel Jaques, Michael Burke외 1명|arXiv (Cornell University)|2019. 05. 27.

Model Reduction and Neural Networks참고 문헌 48인용 수 12

한 줄 요약

이 논문은 비디오에서 지식이 없는 물리적 매개변수 추정을 가능하게 하는 물리학-역영상 처리 프레임워크를 제안한다. 이는 다양한 물리적 방정식(예: 스프링-질량 또는 중력 시스템)을 기반으로 한 미분 가능한 물리 엔진을 사용하여, 개별 물체의 상태(위치/속도)와 시스템 역학을 동시에 학습함으로써 비지도 학습을 실현한다. 이 방법은 알려진 운동 방정식을 인덕티브 바이어스로 통합함으로써 장기적인 비디오 예측과 데이터 효율적인 시각 기반 모델 예측 제어에서 최고 성능을 달성한다.

ABSTRACT

We propose a model that is able to perform unsupervised physical parameter estimation of systems from video, where the differential equations governing the scene dynamics are known, but labeled states or objects are not available. Existing physical scene understanding methods require either object state supervision, or do not integrate with differentiable physics to learn interpretable system parameters and states. We address this problem through a physics-as-inverse-graphics approach that brings together vision-as-inverse-graphics and differentiable physics engines, enabling objects and explicit state and velocity representations to be discovered. This framework allows us to perform long term extrapolative video prediction, as well as vision-based model-predictive control. Our approach significantly outperforms related unsupervised methods in long-term future frame prediction of systems with interacting objects (such as ball-spring or 3-body gravitational systems), due to its ability to build dynamics into the model as an inductive bias. We further show the value of this tight vision-physics integration by demonstrating data-efficient learning of vision-actuated model-based control for a pendulum system. We also show that the controller's interpretability provides unique capabilities in goal-driven control and physical reasoning for zero-data adaptation.

연구 동기 및 목표

• 지상 진술의 물체 상태나 외관이 제공되지 않는 상황에서 비지도 학습을 통한 물리적 매개변수 추정 과제를 해결하기 위해.
• 비지도 시각적 물체 발견과 장기적인 역학 모델링을 위한 미분 가능한 물리 엔진 간 격차를 메우기 위해.
• 분리된 물리적 상태 표현을 활용한 데이터 효율적이고 해석 가능한 시각 기반 모델 예측 제어를 가능하게 하기 위해.
• 학습된 매개변수를 활용한 가상의 물리적 추론을 통해 제어 과제에서 제로샷 적응을 지원하기 위해.
• 기존의 순수 엔드 투 엔드 학습 접근 방식과 비교했을 때, 알려진 물리 법칙을 인덕티브 바이어스로 통합함으로써 비디오 예측 및 제어 과제에서 일반화 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 공간 변환기(Spatial Transformers, ST)를 통합한 시각-역영상 처리 인코더-디코더 아키텍처를 사용하여 비디오 프레임을 분리된, 해석 가능한 물체 상태(위치 및 속도)로 분해한다.
• 기본적으로 알려진 미분 방정식(예: 스프링-질량 또는 중력 시스템)에 따라 시스템 역학을 시뮬레이션하는 학습 가능한 매개변수를 가진 미분 가능한 물리 엔진을 적용한다.
• 가상 렌더링을 통해 잠재 상태 표현과 이미지 재구성 과정 간의 좌표 일致성을 강제한다.
• 재구성 손실과 물리 일관성 손실을 사용하여 엔드 투 엔드로 훈련함으로써, 시각적 특징, 물체 상태, 물리적 매개변수를 동시에 최적화한다.
• 학습된 상태 및 매개변수 표현을 모델 예측 제어(MPC) 프레임워크에 통합하여 시각 기반 제어를 실현한다.
• 분리된 표현을 활용하여 재학습 없이도 목표 매개변수 제어와 가상의 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델은 물체 상태나 외관에 대한 지도 정보 없이도 비디오에서 물리적 매개변수(예: 스프링 상수, 중력 가속도)를 학습할 수 있는가?
• RQ2 상호작용하는 물체를 포함한 복잡한 물리 시스템에 대해 장기적인 비디오 예측 성능는 얼마나 우수한가?
• RQ3 분리된 물리적 상태 표현은 시각 기반 제어 과제에서 데이터 효율적이고 해석 가능한 모델 예측 제어를 가능하게 하는가?
• RQ4 학습된 매개변수를 기반으로 한 제로샷 물리적 추론을 통해 모델은 새로운 환경 조건(예: 중력 가속도 변경)에 얼마나 잘 일반화되는가?
• RQ5 기존의 순수 엔드 투 엔드 학습 접근 방식과 비교했을 때, 알려진 물리 법칙을 인덕티브 바이어스로 통합함으로써 비디오 모델링 및 제어 과제에서 성능 향상이 이루어지는가?

주요 결과

• 모델은 비디오에서 물리적 매개변수를 정확히 복원하며, 중력 가속도 추정치 g = 9.95와 힘 계수 a = 0.99를 도출하여 지상 진술과 일치한다.
• 공간-스프링 및 3체 중력 시스템에서 기존의 비지도 학습 방법보다 장기적인 비디오 예측 성능에서 뛰어난 외삽 일반화 성능을 보였다.
• 학습된 방법은 부족한 제어력이 있는 펜듈럼에 대해 데이터 효율적인 시각 기반 제어 학습을 가능하게 하였으며, PlaNet의 성능을 달성했고, 픽셀 기반 DDPG보다 훨씬 빠른 속도를 기록했다.
• 학습된 물리적 매개변수를 기반으로 한 해석 가능한 물리적 추론 덕분에, 재학습 없이도 새로운 중력 가속도 값(예: 기준의 1.4배)에 대해 제로샷 적응을 달성했다.
• 모델은 목표 매개변수 제어를 지원하여 단일 수직 목표 학습 에피소드만으로도 임의의 목표 각도로 직접 도달할 수 있었으며, 목표 공간 전역에서 일반화 성능를 보였다.
• 분리된, 해석 가능한 상태 표현은 보상 기반 또는 암묵적 물리 모델에서는 확보할 수 없는 고유한 기능—예: 가상의 추론 및 물리적 추론—을 가능하게 하였다.