[논문 리뷰] Efficient Differentiable Simulation of Articulated Bodies

Yi-Ling Qiao, Junbang Liang외 2명|arXiv (Cornell University)|2021. 09. 16.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 수동 적인 연역 미분을 사용하여 관절 구조를 가진 물체를 위한 미분 가능한 물리 시뮬레이터를 제안하며, 파이토치보다 20배 빠르고 세레스보다 50배 빠른 역전파를 달성하여 강화 학습 및 매개변수 추정에서 효율적인 기울기 기반 최적화를 가능하게 한다. 이 방법은 효율적인 접촉 처리와 고성능 자동 미분을 결합하여 운동 및 매개변수 추정 과제에서 최신 기술 수준의 샘플 효율성을 달성한다.

ABSTRACT

We present a method for efficient differentiable simulation of articulated bodies. This enables integration of articulated body dynamics into deep learning frameworks, and gradient-based optimization of neural networks that operate on articulated bodies. We derive the gradients of the forward dynamics using spatial algebra and the adjoint method. Our approach is an order of magnitude faster than autodiff tools. By only saving the initial states throughout the simulation process, our method reduces memory requirements by two orders of magnitude. We demonstrate the utility of efficient differentiable dynamics for articulated bodies in a variety of applications. We show that reinforcement learning with articulated systems can be accelerated using gradients provided by our method. In applications to control and inverse problems, gradient-based optimization enabled by our work accelerates convergence by more than an order of magnitude.

연구 동기 및 목표

• 복잡한 접촉 역학을 가진 관절 구조 물체에 대해 효율적이고 고성능의 미분 가능한 시뮬레이션을 가능하게 하기.
• 강화 학습 및 매개변수 추정에 사용되는 물리 엔진에서 역전파의 계산 병목 현상을 해결하기.
• 정책 학습과 매개변수 최적화를 통합된 프레임워크에서 지원하는 미분 가능한 시뮬레이터를 개발하기.
• 효과적인 시뮬레이션 기반 증강 및 정책 향상 기반으로 강화 학습의 샘플 효율성을 향상시키기.

제안 방법

• 저자들은 관절 구조 물체 알고리즘과 투영 가우스-자이델(예측된) 접촉 해소법에 대해 수동으로 연역 방정식을 유도하여 빠른 역전파를 가능하게 한다.
• 시뮬레이터는 C++로 구현되었으며, JAX 호환 인터페이스를 제공하여 1단계당 0.6ms의 역전파 시간을 달성—물리 엔진 대비 20배 빠르고 파이토치 대비 50배 빠르다.
• 동일한 계산 그래프를 통해 운동 제어(관절 토크)와 접촉 매개변수(마찰 계수)의 엔드 투 엔드 미분 가능성을 지원한다.
• MBPO와 CMA-ES에 통합되어 공통된 미분 가능한 시뮬레이션을 통해 정책 및 매개변수 학습을 동시에 가능하게 한다.
• 일반적인 미분 가능한 프ogramming 도구인 DiffTaichi의 한계를 피하기 위해 복잡한 제어 흐름과 혼합 루프를 지원한다.
• 저자들은 기울기 기반 최적화를 사용하여 마찰 계수와 관절 토크를 추정하며, 손실 곡면에서 전역 최소값으로 수렴하는 것을 입증한다.

실험 결과

연구 질문

• RQ1 관절 구조 물체 역학과 접촉 해소법에 대해 수동 연역 미분을 적용할 경우, 일반적인 자동 미분 도구에 비해 상당히 빠른 역전파를 달성할 수 있는가?
• RQ2 제안된 미분 가능한 시뮬레이터는 운동 과제에 대한 강화 학습에서 샘플 효율성을 어떻게 향상시키는가?
• RQ3 기울기 기반 최적화를 통해 관절 시스템의 내부 매개변수(예: 마찰 계수, 관절 토크)를 추정할 수 있는 정도는 어느 정도인가?
• RQ4 미분 가능한 시뮬레이션에서 정책 향상 전략과 샘플 증강 전략은 수렴 속도와 최종 성능 측면에서 어떻게 비교되는가?
• RQ5 다중 연결 펜듈럼과 같은 장기 순차 시스템을 모델링할 때 시뮬레이터의 한계는 무엇인가?

주요 결과

• 제안된 방법은 1단계당 0.6ms의 역전파 시간을 달성하여, 파이토치(285.9ms) 대비 50배 빠르고 물리 엔진 대비 20배 빠르다.
• 마찰 계수에 대한 효과적인 매개변수 추정이 가능하며, 기울기 기반 방법이 손실 곡면에서 전역 최소값을 성공적으로 찾는다.
• MBPO 기반 학습에서, 특히 N-펜듈럼과 라이카고 운동 과제에서 기준 모델 대비 더 빠른 수렴과 더 높은 최종 보상 성능을 달성한다.
• N=5와 N=7 링크에 대한 손실 곡선은 안정적이고 빠른 수렴을 보이며, 수치적 불안정성으로 인한 성능 저하 없이 유지된다.
• JAX(4.9ms)를 제외한 Ceres(30.7ms), CppAD(2.9ms), 파이토치(285.9ms)에 비해 역전파 효율성이 뛰어나며, JAX는 4.9ms이다.
• 저자들은 100 에포크 이후 MBPO에서 성능 저하를 관측하였으며, 이는 장기 시퀀스 역학을 근사하는 데 모델 표현력 부족 때문이라고 판단한다.