[论文解读] Augmenting Differentiable Simulators with Neural Networks to Close the Sim2Real Gap

Eric Heiden, David Millard+2 more|arXiv (Cornell University)|Jul 12, 2020

Model Reduction and Neural Networks参考文献 31被引用 12

一句话总结

本文提出一种混合可微分模拟器，通过在任意计算点将神经网络集成到解析物理引擎中，实现端到端基于梯度的优化，用于系统辨识。通过结合解析动力学与数据驱动的残差模型，并利用随机搜索逃离局部极小值，该方法显著缩小了模拟到现实的差距，已在模拟和真实世界双摆动力学中得到验证。

ABSTRACT

We present a differentiable simulation architecture for articulated rigid-body dynamics that enables the augmentation of analytical models with neural networks at any point of the computation. Through gradient-based optimization, identification of the simulation parameters and network weights is performed efficiently in preliminary experiments on a real-world dataset and in sim2sim transfer applications, while poor local optima are overcome through a random search approach.

研究动机与目标

• 通过在解析物理模拟中引入数据驱动模型，解决机器人领域中的模拟到现实的差距问题。
• 通过随机搜索策略，克服非线性动力学系统辨识中陷入不良局部极小值的问题。
• 在统一框架中实现对模拟参数与神经网络权重的高效、基于梯度的优化。
• 允许神经网络被插入模拟计算图的任意位置，以建模未被建模的动力学。
• 在模拟到模拟的迁移与真实世界系统辨识中，利用真实轨迹数据验证该方法。

提出的方法

• 将任意变量在可微分物理引擎中扩展为神经网络，该网络接收其他模拟变量作为输入，形成‘神经标量’。
• 使用基于 C++ 的可微分模拟引擎，结合多维双数实现自动梯度计算，通过 Ceres 库完成。
• 将系统辨识建模为非线性最小二乘问题，使用公式 1，通过 L2 正则化神经网络权重来最小化状态轨迹误差。
• 采用 Levenberg-Marquardt 算法对损失函数进行快速局部优化。
• 采用并行盆地跳跃（PBH）方法，从随机初始化参数重启局部求解器，以逃离不良局部极小值。
• 在独立代码中定义‘神经蓝图’，用于指定网络架构与初始权重，实现模型定义与模拟执行的解耦。

实验结果

研究问题

• RQ1 是否能有效在可微分物理引擎的任意位置插入神经网络，以建模未被建模的动力学？
• RQ2 端到端可微分优化在从观测轨迹中辨识解析参数与神经网络参数方面表现如何？
• RQ3 如并行盆地跳跃等随机搜索策略，是否能有效逃离高维、非凸系统辨识问题中的不良局部极小值？
• RQ4 与纯解析模拟器相比，该混合模型在多大程度上缩小了模拟到现实的差距？
• RQ5 对神经网络权重进行正则化在多大程度上提升了所学动力学的物理合理性与泛化能力？

主要发现

• 在使用 PBH 进行系统辨识后，混合模拟器在立方体在地面平面上抛掷的轨迹上与目标轨迹高度吻合，与未经优化的基线相比，显著缩小了模拟到现实的差距。
• 在真实世界双摆数据集上，该方法成功辨识出惯性、质量与连杆长度参数，实现了最小的模拟到现实差距。
• 公式 1 中的损失函数通过反向传播实现了对解析模型参数与神经网络权重的高效优化。
• 使用随机搜索（PBH）通过逃离非线性动力学优化中常见的不良局部极小值，提升了收敛至更优解的能力。
• 混合架构允许对特定动力学组件（如摩擦）进行细粒度增强，同时保持物理引擎的解析基础。
• 该方法在模拟到模拟迁移与真实世界系统辨识中均表现出色，展现出在实际机器人应用中的巨大潜力。