[논문 리뷰] Differentiable Physics Simulations with Contacts: Do They Have Correct Gradients w.r.t. Position, Velocity and Control?

Yaofeng Desmond Zhong, Jiequn Han외 1명|arXiv (Cornell University)|2022. 07. 08.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 접촉 역학을 포함한 미분 가능 물리 시뮬레이터에서 기울기의 정확도를 평가하며, 강체 충돌 시나리오에 대해 LCP, 볼록 최적화, 탄성 모델, 위치 기반 동역학의 네 가지 제형을 비교한다. 연구 결과, 분석적 도함수와 일치하는 기울기를 생성하는 시뮬레이터는 없었지만, 일부는 여전히 성공적인 학습을 가능하게 하여, 최적화 과제에서 실용성은 있으나 기울기 정확성에 대한 심각한 격차가 존재함을 드러낸다.

ABSTRACT

In recent years, an increasing amount of work has focused on differentiable physics simulation and has produced a set of open source projects such as Tiny Differentiable Simulator, Nimble Physics, diffTaichi, Brax, Warp, Dojo and DiffCoSim. By making physics simulations end-to-end differentiable, we can perform gradient-based optimization and learning tasks. A majority of differentiable simulators consider collisions and contacts between objects, but they use different contact models for differentiability. In this paper, we overview four kinds of differentiable contact formulations - linear complementarity problems (LCP), convex optimization models, compliant models and position-based dynamics (PBD). We analyze and compare the gradients calculated by these models and show that the gradients are not always correct. We also demonstrate their ability to learn an optimal control strategy by comparing the learned strategies with the optimal strategy in an analytical form. The codebase to reproduce the experiment results is available at https://github.com/DesmondZhong/diff_sim_grads.

연구 동기 및 목표

• 미분 가능 물리 시뮬레이터가 접촉 다수의 강체 역학에서 위치, 속도, 제어에 대해 정확한 기울기를 계산하는지 평가하는 것.
• LCP, 볼록 최적화, 탄성 모델, PBD의 네 가지 주요 미분 가능 접촉 제형의 성능을 비교하는 것.
• 기울기가 잘못된 일부 시뮬레이터가 왜 최적 제어 전략을 학습하는 데 성공하는지 조사하는 것.
• 미래의 미분 가능 물리 도구 평가를 위한 분석적 기울기를 포함한 벤치마크를 제공하는 것.

제안 방법

• 저자는 통합 시뮬레이션 프레임워크 내에서 LCP, 볼록 최적화, 탄성 모델, PBD의 네 가지 미분 가능 접촉 모델을 구현한다.
• 마찰이 없는 강체 충돌을 포함한 세 가지 벤치마크 과제에 대해 분석적 기울기를 닫힌 형태로 유도한다.
• 각 구현을 통해 시뮬레이션을 실행하고 기울기 차이 측도를 사용하여 분석적 기준과 기울기를 비교한다.
• 기울기 기반 최적화 과제를 수행하여 최적 제어 입력을 학습하고, 알려진 분석적 최적 제어 프로파일과 결과를 비교한다.
• 탄성 모델의 스프링 강성의 영향을 학습 안정성과 수렴성에 대해 평가한다.
• 모든 실험을 재현할 수 있도록 코드를 공개하여 벤치마크 및 향후 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 미분 가능 물리 시뮬레이터는 접촉 사건에서 위치, 속도, 제어에 대해 정확한 기울기를 계산하는가?
• RQ2 LCP, 볼록 최적화, 탄성 모델, PBD 제형의 기울기가 통제된 환경에서 분석적 기울기와 어떻게 비교되는가?
• RQ3 기울기가 잘못된 일부 시뮬레이터가 왜 최적 제어 전략을 학습하는 데 성공하는가?
• RQ4 접촉 모델의 선택이 기울기 기반 최적화의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ5 계산된 기울기와 진짜 기울기 사이의 격차는 정량화할 수 있으며 최적화 성능과 연결될 수 있는가?

주요 결과

• 시험된 모든 미분 가능 시뮬레이터가 벤치마크 과제에서 분석적 기울기와 일치하는 기울기를 생성하지 않았으며, 이는 기울기 계산에 근본적인 문제가 있음을 시사한다.
• PBD 기반 두 가지 구현만이 분석적 기준과 가까운 기울기를 생성하여, PBD가 더 정확한 기울기 추정을 제공할 수 있음을 시사한다.
• 기울기가 잘못되었음에도 불구하고 몇몇 시뮬레이터는 최적 제어 전략을 성공적으로 학습하여 분석적 최적에 가까운 손실에 수렴했다.
• 낮은 강성의 탄성 모델은 부드러운 접촉 표현으로 인해 높은 초기 손실을 보였고, 높은 강성은 불안정한 학습과 수렴 실패로 이어졌다.
• 시간-충격(ToI) 처리 기능이 없거나 기울기 계산이 열악한 시뮬레이터들은 의미 있는 제어 시퀀스를 학습하지 못했으며, 일반적으로 제로 제어 조작을 초래했다.
• 결과는 중요한 괴리점을 드러낸다: 기울기가 잘못되었음에도 불구하고 최적화는 성공할 수 있으며, 이는 현재의 미분 가능 시뮬레이터가 물리 기반 학습 과제에서 신뢰할 수 있는지에 대한 질문을 제기한다.