[논문 리뷰] Vid2Param: Modelling of Dynamics Parameters from Video

Martin Asenov, Michael Burke외 4명|Edinburgh Research Explorer|2019. 07. 15.

Model Reduction and Neural Networks참고 문헌 56인용 수 5

한 줄 요약

Vid2Param는 물리 기반 시뮬레이터와 순환 변동형 오토인코더(RVAE)를 통합하여 비디오 스트림에서 직접 위치, 속도, 복원력, 공기 저항, 중력과 같은 물리적 동역학 파라미터를 온라인으로 시스템 식별할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 모델은 시뮬레이션 및 실제 환경 모두에서 정확하고 실시간으로 파라미터 추정과 확률적 향후 궤적 예측을 달성하며, 가림막이나 제한된 시각 입력 조건에서도 전통적인 시스템 식별 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Videos provide a rich source of information, but it is generally hard to extract dynamical parameters of interest. Inferring those parameters from a video stream would be beneficial for physical reasoning. Robots performing tasks in dynamic environments would benefit greatly from understanding the underlying environment motion, in order to make future predictions and to synthesize effective control policies that use this inductive bias. Online physical reasoning is therefore a fundamental requirement for robust autonomous agents. When the dynamics involves multiple modes (due to contacts or interactions between objects) and sensing must proceed directly from a rich sensory stream such as video, then traditional methods for system identification may not be well suited. We propose an approach wherein fast parameter estimation can be achieved directly from video. We integrate a physically based dynamics model with a recurrent variational autoencoder, by introducing an additional loss to enforce desired constraints. The model, which we call Vid2Param, can be trained entirely in simulation, in an end-to-end manner with domain randomization, to perform online system identification, and make probabilistic forward predictions of parameters of interest. This enables the resulting model to encode parameters such as position, velocity, restitution, air drag and other physical properties of the system. We illustrate the utility of this in physical experiments wherein a PR2 robot with a velocity constrained arm must intercept an unknown bouncing ball with partly occluded vision, by estimating the physical parameters of this ball directly from the video trace after the ball is released.

연구 동기 및 목표

• 동적인 환경에서 원시 비디오 입력으로부터 실시간으로 물리적 동역학 파라미터를 온라인으로 식별하는 것을 목표로 한다.
• 특히 지연되거나 미세한 영향을 미치는 복잡한 물리적 파라미터를 상태 참조 없이 직접 시각 데이터에서 추론하는 도전 과제를 해결한다.
• 객체 상태와 물리적 파라미터를 동시에 추론할 수 있는 모델을 개발하고, 향후 제어를 위한 확률적 전방 예측을 가능하게 한다.
• 도메인 랜덤라이제이션을 통해 완전히 시뮬레이션 환경에서 훈련함으로써 시뮬레이션에서 실제 세계로의 격차를 해소하고, 최소한의 실제 세계 데이터로도 실제 로봇 시스템에 구현 가능하게 한다.
• 느린 움직임을 하는 시각 제약이 있는 로봇 팔을 사용해 튀는 공을 간섭하는 실용적인 로봇 작업을 통해 제안된 방법의 유용성을 입증한다.

제안 방법

• 모델은 물리 기반 시뮬레이터와 순환 변동형 오토인코더(RVAE)를 결합하며, 인코더는 비디오 프레임을 물리적 파라미터의 잠재 표현으로 매핑한다.
• 예측된 파라미터와 시뮬레이션된 동역학 간의 물리적 일관성을 확보하기 위해 추가적인 손실 항목이 도입되어, 잠재 공간이 알려진 물리 법칙을 따르도록 보장한다.
• 모델 전체는 도메인 랜덤라이제이션을 사용해 시뮬레이션에서 엔드 투 엔드로 훈련되어 실제 세계의 시각적 변형에 대한 일반화 능력을 향상시킨다.
• 디코더는 잠재 공간에서 향후 궤적을 생성하여, 파라미터 추정의 불확실성 하에서 물체 운동의 확률적 예측을 가능하게 한다.
• 프레임 단위로 업데이트되는 온라인 추론을 지원: 각 비디오 프레임에서 모델은 물리적 파라미터에 대한 믿음과 향후 상태를 갱신한다.
• 아키텍처는 인코더/디코더 선택과 독립적이며, 다양한 비전 모델과 센서 모odalities와의 통합이 가능하도록 모듈러하다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 상태 참조 없이 단일 비디오 스트림에서 중력, 공기 저항, 복원력, 굴링 계수와 같은 다수의 물리적 파라미터를 정확하게 추론할 수 있는가?
• RQ2 모델은 시뮬레이션 훈련 데이터에서 시작해 가림막이나 시각 노이즈가 있는 실제 비디오로 일반화되어, 실제 로봇 시나리오에서 강인한 시스템 식별을 수행할 수 있는가?
• RQ3 파라미터 추정의 불확실성 하에서도 모델이 향후 운동에 대해 얼마나 잘 확률적 전방 예측을 수행할 수 있는가?
• RQ4 비디오 시퀀스 내에서 물리적 파라미터의 변화를 탐지할 수 있는가? 이는 환경의 동적 변화를 감지하는 데 기여한다.
• RQ5 물리 기반 제약 조건을 통합하면 순수 데이터 기반 기준 모델 대비 파라미터 추정 정확도가 향상되는가?

주요 결과

• 모델은 초기 궤적의 참값을 제공받는 전통적 방법과 유사한 정확도를 달성함에도 불구하고, 오직 비디오 입력에 의존한다.
• 중력과 공기 저항은 첫 몇 프레임 내에 추정되며, 공기 저항은 수평 및 수직 속도 성분에 모두 의존하므로 약간 더 많은 프레임이 필요하다.
• 복원력 인자는 첫 번째 타격 이후 몇 프레임 내에 안정적으로 추정되며, 이는 모델이 접촉 동역학을 포착할 수 있음을 보여준다.
• 굴링 계수는 궤적 후반에만 영향을 미치므로 초기에는 오차가 더 크지만, 비디오 후반부로 갈수록 개선되며, 이는 모델이 장기적 의존성을 학습함을 시사한다.
• 시스템 자극 발생 시 물리적 파라미터 변화를 성공적으로 탐지하여, 동적 환경 변화에 대한 강인성을 보여준다.
• 확률적 전방 예측은 의미 있는 불확실성 패tern을 드러내며, 예를 들어 타격 전후에 높은 변동성을 보이며, 이는 모델이 물리적 추론에서 지식 부족 불확실성(epistemic uncertainty)을 올바르게 표현할 수 있음을 보여준다.