[论文解读] Efficient Differentiable Simulation of Articulated Bodies

Yi-Ling Qiao, Junbang Liang+2 more|arXiv (Cornell University)|Sep 16, 2021

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出了一种用于刚体系统的可微分物理模拟器，采用手动伴随微分方法，使反向传播速度比PyTorch快20倍，比Ceres快50倍，从而实现了强化学习和参数估计中高效的基于梯度的优化。该方法通过结合高效的接触处理与高性能自动微分，在运动控制和参数估计任务中实现了最先进水平的样本效率。

ABSTRACT

We present a method for efficient differentiable simulation of articulated bodies. This enables integration of articulated body dynamics into deep learning frameworks, and gradient-based optimization of neural networks that operate on articulated bodies. We derive the gradients of the forward dynamics using spatial algebra and the adjoint method. Our approach is an order of magnitude faster than autodiff tools. By only saving the initial states throughout the simulation process, our method reduces memory requirements by two orders of magnitude. We demonstrate the utility of efficient differentiable dynamics for articulated bodies in a variety of applications. We show that reinforcement learning with articulated systems can be accelerated using gradients provided by our method. In applications to control and inverse problems, gradient-based optimization enabled by our work accelerates convergence by more than an order of magnitude.

研究动机与目标

• 实现复杂接触动力学下刚体系统的高效、高性能可微分模拟。
• 解决用于强化学习和参数估计的物理引擎中反向传播的计算瓶颈问题。
• 开发一种统一框架下的可微分模拟器，支持策略学习与参数优化。
• 通过有效的基于模拟的增强与策略优化，提升强化学习中的样本效率。

提出的方法

• 作者手动推导了刚体算法和投影高斯-赛德尔（PGS）接触求解器的伴随方程，以实现高效的反向传播。
• 模拟器使用C++实现，并提供与JAX兼容的接口，每步反向传播耗时0.6ms——比物理引擎快20倍，比PyTorch快50倍。
• 该方法支持通过同一计算图对运动控制（关节力矩）和接触参数（摩擦系数）实现端到端可微分。
• 框架与MBPO和CMA-ES集成，实现共享可微分模拟下的策略与参数联合学习。
• 实现避免了通用可微分编程工具（如DiffTaichi）在复杂控制流和混合循环支持方面的局限性。
• 作者使用基于梯度的优化方法估计摩擦系数和关节力矩，在损失曲面上成功收敛至全局最小值。

实验结果

研究问题

• RQ1 对刚体动力学和接触求解器进行手动伴随微分，是否能显著快于通用自动微分工具的反向传播速度？
• RQ2 所提出的可微分模拟器在运动控制任务的强化学习中，如何提升样本效率？
• RQ3 基于梯度的优化在估计刚体系统内部参数（如摩擦系数和关节力矩）方面，其适用程度如何？
• RQ4 在可微分模拟中，策略增强与样本增强策略在收敛速度和最终性能方面有何差异？
• RQ5 当建模大规模序列系统（如多连杆摆）时，该模拟器存在哪些局限性？

主要发现

• 所提方法每步反向传播耗时0.6ms，比PyTorch（285.9ms）快50倍，比物理引擎快20倍。
• 模拟器能够有效实现摩擦系数的参数估计，基于梯度的方法在损失曲面上成功找到全局最小值。
• 在基于MBPO的训练中，该方法相比基线模型收敛更快，最终奖励更高，尤其在N-摆和Laikago运动控制任务中表现显著。
• N=5和N=7连杆的损失曲线表现出稳定且快速的收敛，未因数值不稳定性导致性能下降。
• 在反向传播效率方面，该方法优于Ceres（30.7ms）、CppAD（2.9ms）和PyTorch（285.9ms），JAX为4.9ms。
• 作者观察到在100个周期后MBPO性能下降，归因于模型表达能力不足，难以准确逼近长时序动力学。