[论文解读] gradSim: Differentiable simulation for system identification and visuomotor control

J. Krishna Murthy, Miles Macklin+12 more|arXiv (Cornell University)|Apr 6, 2021

Advanced Vision and Imaging参考文献 109被引用 43

一句话总结

∇Sim 是一个可微分模拟器，可以从视频像素通过可微分物理和渲染反向传播，以估计物理属性并实现无3D监督的视觉运动控制。

ABSTRACT

We consider the problem of estimating an object's physical properties such as mass, friction, and elasticity directly from video sequences. Such a system identification problem is fundamentally ill-posed due to the loss of information during image formation. Current solutions require precise 3D labels which are labor-intensive to gather, and infeasible to create for many systems such as deformable solids or cloth. We present gradSim, a framework that overcomes the dependence on 3D supervision by leveraging differentiable multiphysics simulation and differentiable rendering to jointly model the evolution of scene dynamics and image formation. This novel combination enables backpropagation from pixels in a video sequence through to the underlying physical attributes that generated them. Moreover, our unified computation graph -- spanning from the dynamics and through the rendering process -- enables learning in challenging visuomotor control tasks, without relying on state-based (3D) supervision, while obtaining performance competitive to or better than techniques that rely on precise 3D labels.

研究动机与目标

• 激励并解决在没有3D监督的情况下从视频估计对象物理属性的病态问题。
• 将可微分多物理场模拟与可微渲染耦合，形成端到端可学习管线。
• 使从图像空间监督中恢复摩擦、弹性、可变形材料参数，以及 visuo-motor 控制成为可能。
• 在刚性、可变形和布模型上，展示对需要3D标签的方法的具有竞争力的性能。

提出的方法

• 建立一个统一的仿真管线，将仿真状态和参数映射到通过可微分物理与渲染组件渲染的图像。
• 使用分步动力学的隐式关系和可微分栅格化方法，对动力学与渲染两者进行反向传播。
• 使用状态 s=(q,u) 和参数 θ 的可微分物理引擎，通过 SoftRas 或 DIB-R 渲染得到可微分的图像输出。
• 端到端训练，损失在图像空间定义，实现从像素反向传播到物理属性。
• 支持网格和四面体有限元，用于刚体、可变形固体和薄壳布料，且可调渲染率以提高效率。

实验结果

研究问题

• RQ1 能否通过对可微分仿真器进行反向传播，从视频中准确识别物理参数？
• RQ2 图像空间（2D）监督与状态空间（3D）监督在基于可微分物理估计中的性能差距是多少？
• RQ3 通过统一仿真器的梯度学习信号，对具有挑战性的视觉运动控制任务是否有效？
• RQ4 动力学与渲染中的建模选择如何影响参数识别与控制性能？

主要发现

• ∇Sim 能从视频中恢复质量、摩擦和弹性，精度高，具有与3D监督方法竞争力。
• 对于可变形与布料模型，可以从视频估计每个粒子的质量和拉梅参数，相对误差相对基线有利。
• ∇Sim 下的损失地形是平滑的，适合用梯度法优化，而非不可微基线。
• 在视觉运动控制任务中，由 ∇Sim 梯度引导的网络仅凭图像监督即可实现目标导向控制，有时可与3D监督方法相媲美。
• 不完美的动力学建模对参数恢复的降解大于渲染缺陷，且着色/纹理线索加速收敛。