[论文解读] A Differentiable Physics Engine for Deep Learning in Robotics

Jonas Degrave, Michiel Hermans+2 more|arXiv (Cornell University)|Nov 5, 2016

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种基于Theano的可微分物理引擎，可在机器人仿真中实现解析梯度计算，从而通过基于梯度的方法高效优化复杂控制器。通过使用反向传播替代无导数方法，该方法在训练包含数百万参数的深度神经网络控制器时实现了高达100倍的加速。

ABSTRACT

An important field in robotics is the optimization of controllers. Currently, robots are often treated as a black box in this optimization process, which is the reason why derivative-free optimization methods such as evolutionary algorithms or reinforcement learning are omnipresent. When gradient-based methods are used, models are kept small or rely on finite difference approximations for the Jacobian. This method quickly grows expensive with increasing numbers of parameters, such as found in deep learning. We propose the implementation of a modern physics engine, which can differentiate control parameters. This engine is implemented for both CPU and GPU. Firstly, this paper shows how such an engine speeds up the optimization process, even for small problems. Furthermore, it explains why this is an alternative approach to deep Q-learning, for using deep learning in robotics. Finally, we argue that this is a big step for deep learning in robotics, as it opens up new possibilities to optimize robots, both in hardware and software.

研究动机与目标

• 为解决机器人领域中无导数优化的局限性，实现控制器的基于梯度的训练。
• 开发一种可微分物理引擎，通过机器人动力学计算解析梯度，克服传统模拟器的黑箱特性。
• 证明基于可微分物理的基于梯度的优化在大规模深度学习控制器（含数百万参数）中仍具有可扩展性和高效性。
• 探索新应用，如神经网络蒸馏、硬件参数优化以及基于可微分模拟的对抗性机器人训练。
• 提供一种计算框架，将深度学习与基于物理的仿真相结合，实现更快、更鲁棒的机器人策略学习。

提出的方法

• 从零开始在Theano中实现一个3D刚体物理引擎，作为计算图以支持自动微分。
• 采用基于冲量的速度步进法与Gauss-Seidel投影，求解接触与约束解析的线性互补问题（LCP）。
• 通过使用与自动微分兼容的有限基本运算集合，将所有物理操作表达为可微分的数学表达式，实现可微性。
• 通过仅使用球形体避免碰撞检测中的分支结构，确保与Theano的GPU编译兼容。
• 将计算图编译为CPU与GPU执行，实现高性能仿真与梯度计算。
• 通过在物理引擎中反向传播梯度，端到端优化控制参数，训练深度神经网络控制器。

实验结果

研究问题

• RQ1 可微分物理引擎是否能实现对复杂、高维策略的机器人控制器的高效基于梯度的优化？
• RQ2 与强化学习或进化算法等无导数方法相比，基于梯度的优化在训练速度和收敛性方面表现如何？
• RQ3 可微分物理在多大程度上可实现对包含数百万参数的深度神经网络控制器的端到端训练？
• RQ4 可微分物理是否可用于优化控制参数以外的物理模型参数（如摩擦系数或质量）？
• RQ5 当物理模拟中可获得梯度时，哪些新学习范式（如对抗性训练或知识蒸馏）变得可行？

主要发现

• 对于包含110万个参数的控制器，可微分物理引擎将优化速度提升了100倍，训练时间从GPU上的311秒缩短至3.1秒，采用梯度下降方法。
• 对于单个机器人（含1,296个参数），CPU上梯度计算耗时8.17秒，GPU上为69.6秒，证明梯度评估在计算上是可行且可扩展的。
• 在批量处理128个机器人时，即使在计算梯度的情况下，每步时间仍保持在1.01毫秒（GPU），实现了高效的并行优化。
• 该方法通过在物理引擎中反向传播梯度，实现了对包含数百万参数的深度神经网络控制器的端到端训练，无需依赖强化学习或进化策略。
• 该框架支持未来应用，如将物理模型蒸馏为神经网络、优化硬件参数，以及实现对抗性机器人训练。
• 该引擎的可微性使得可通过学习的神经网络高效优化与状态相关的模型参数（如摩擦系数）。