[논문 리뷰] gradSim: Differentiable simulation for system identification and visuomotor control

J. Krishna Murthy, Miles Macklin외 12명|arXiv (Cornell University)|2021. 04. 06.

Advanced Vision and Imaging참고 문헌 109인용 수 43

한 줄 요약

∇Sim은 비디오 픽셀에서 미분 가능 물리학과 렌더링을 거쳐 역전파하는 미분 가능 시뮬레이터로, 3D 감독 없이 물리적 특성을 추정하고 시각운동 제어를 가능하게 한다.

ABSTRACT

We consider the problem of estimating an object's physical properties such as mass, friction, and elasticity directly from video sequences. Such a system identification problem is fundamentally ill-posed due to the loss of information during image formation. Current solutions require precise 3D labels which are labor-intensive to gather, and infeasible to create for many systems such as deformable solids or cloth. We present gradSim, a framework that overcomes the dependence on 3D supervision by leveraging differentiable multiphysics simulation and differentiable rendering to jointly model the evolution of scene dynamics and image formation. This novel combination enables backpropagation from pixels in a video sequence through to the underlying physical attributes that generated them. Moreover, our unified computation graph -- spanning from the dynamics and through the rendering process -- enables learning in challenging visuomotor control tasks, without relying on state-based (3D) supervision, while obtaining performance competitive to or better than techniques that rely on precise 3D labels.

연구 동기 및 목표

• 3D 감독 없이 비디오로부터 물체의 물리적 특성을 추정하는 잘 정의되지 않은 문제를 동기 부여하고 해결한다.
• 미분 가능 멀티피직스 시뮬레이션과 미분 가능 렌더링을 연결하여 엔드-투-엔드 학습 가능한 파이프라인을 형성한다.
• 이미지 공간 감독으로 마찰, 탄성, 변형 가능 재료 매개변수 및 시각운동 제어를 복원할 수 있게 한다.
• 강체, 변형 가능 물체, 천 모델에서 3D 라벨이 필요한 방법과 경쟁력 있는 성능을 시연한다.

제안 방법

• 미분 가능 물리학과 렌더링 구성요소를 통해 시뮬레이션 상태와 매개변수를 렌더링된 이미지로 매핑하는 통합 시뮬레이션 파이프라인을 모델링한다.
• 스텝 기반 역학의 암시적 관계와 미분 가능 래스터라이제이션 접근법을 사용하여 역학과 렌더링 모두를 통해 역전파를 흐르게 한다.
• 상태 s=(q,u)와 매개변수 θ를 갖는 미분 가능 물리 엔진을 활용하고, 소프트래스(SoftRas) 또는 DIB-R로 렌더링하여 미분 가능 이미지 출력을 얻는다.
• 이미지 공간에서 정의된 손실로 엔드투엔드 학습을 수행하여 픽셀에서 물리 속성까지 역전파를 가능하게 한다.
• 강체, 변형 가능 고체, 얇은 쉘 천을 위한 메시와 테트라헤드럴 FEM을 지원하고 효율성을 위해 렌더링 속도를 조정 가능하게 한다.

실험 결과

연구 질문

• RQ1 미분 가능 시뮬레이터를 통해 역전파하여 영상에서 물리 매개변수를 정확히 식별할 수 있는가?
• RQ2 미분 가능 물리 기반 추정에서 이미지 공간(2D) 감독과 상태 공간(3D) 감독 간의 성능 차이는 무엇인가?
• RQ3 통합된 시뮬레이터를 통한 그래디언트로부터의 학습 신호가 어려운 시각운동 제어 과제에서 효과적인가?
• RQ4 동역학과 렌더링의 모델링 선택이 매개변수 식별 및 제어 성능에 어떤 영향을 미치는가?

주요 결과

• ∇Sim은 영상으로 질량, 마찰 및 탄성을 높은 정밀도로 복원할 수 있으며 3D 감독 방법과 경쟁한다.
• 변형 가능 물체와 천 모델의 경우, 파티클당 질량과 Lamé 매개변수를 영상으로부터 추정할 수 있으며 기준 대비 유리한 상대 오차를 보인다.
• ∇Sim 하의 손실 지형은 매끄러워 그래디언트 기반 방법으로 효과적으로 최적화할 수 있으며 비미분 가능한 기준과 달리 그렇다.
• 시각운동 제어 과제에서 ∇Sim 그래디언트로 안내된 네트워크는 이미지 기반 감독만으로 목표 지향 제어를 달성하며 때로는 3D 감독 방식에 필적한다.
• 불완전한 역학 모델링은 매개변수 복원에 렌더링 오차보다 더 큰 악영향을 주며, 음영/질감 단서는 수렴 속도를 가속화한다.