[论文解读] A User's Guide to Calibrating Robotics Simulators

Bhairav Mehta, Ankur Handa+2 more|arXiv (Cornell University)|Nov 17, 2020

Reinforcement Learning in Robotics参考文献 31被引用 4

一句话总结

本文提出了仿真参数估计（SIPE）基准，以标准化机器人领域仿真到现实世界迁移算法的评估。该研究利用真实世界轨迹评估参数估计方法，表明通过学习策略和判别器可提升稳定性与性能，相较于手动或固定动作方法更具优势，其中基于粒子的方法（如 ADR 和 SimOpt）在运动任务中展现出优异的零样本泛化能力。

ABSTRACT

Simulators are a critical component of modern robotics research. Strategies for both perception and decision making can be studied in simulation first before deployed to real world systems, saving on time and costs. Despite significant progress on the development of sim-to-real algorithms, the analysis of different methods is still conducted in an ad-hoc manner, without a consistent set of tests and metrics for comparison. This paper fills this gap and proposes a set of benchmarks and a framework for the study of various algorithms aimed to transfer models and policies learnt in simulation to the real world. We conduct experiments on a wide range of well known simulated environments to characterize and offer insights into the performance of different algorithms. Our analysis can be useful for practitioners working in this area and can help make informed choices about the behavior and main properties of sim-to-real algorithms. We open-source the benchmark, training data, and trained models, which can be found at https://github.com/NVlabs/sim-parameter-estimation.

研究动机与目标

• 为解决仿真参数估计与仿真到现实世界迁移算法缺乏标准化基准的问题。
• 为机器人仿真中的系统识别与校准方法提供统一的比较框架。
• 分析不同轨迹生成策略（示范 vs. 学习策略）对参数估计性能的影响。
• 评估在主动领域随机化与基于优化的方法中，使用学习奖励与真实状态差异的有效性。
• 评估在下游强化学习任务中，使用估计参数的零样本泛化性能。

提出的方法

• SIPE 基准提供了一套仿真环境、来自真实机器人的专家轨迹，以及用于参数估计的训练策略。
• 将参数估计建模为系统识别问题，利用真实世界轨迹推断仿真器参数（如质量与摩擦力）。
• 作者对比了使用示范（遥操作或专家）与由训练策略生成的轨迹的方法，其中动作由策略生成而非固定。
• 在 MSE 基础损失函数与学习判别器两种设置下，评估主动领域随机化（ADR）与 SimOpt 方法，以区分真实与仿真轨迹。
• 采用零样本迁移评估协议，通过在目标环境中仅训练的智能体作为基准，衡量使用估计参数的下游强化学习智能体性能，并进行归一化处理。
• 该基准包含开源代码、数据集与训练模型，以支持可复现性与未来研究。

实验结果

研究问题

• RQ1 不同轨迹生成方法（示范 vs. 学习策略）如何影响参数估计的稳定性与准确性？
• RQ2 在主动领域随机化与基于优化的参数估计中，使用学习奖励（通过判别器）与真实状态差异相比，其影响是什么？
• RQ3 基于粒子的方法（如 ADR、SimOpt）在使用估计参数进行下游强化学习训练时，对未见环境的泛化能力如何？
• RQ4 是否可放宽后验恢复，转而采用更简单的粒子采样，而不牺牲下游任务性能？
• RQ5 成本函数的选择如何影响在多样化机器人任务中参数估计的收敛性与方差？

主要发现

• 使用由学习策略生成的轨迹显著降低了参数估计的方差，相较于固定动作示范，提升了算法稳定性。
• 尽管在某些环境中性能有所下降，但策略生成的轨迹在多个算法中均稳定了学习过程，表明其在降低估计过程噪声方面具有价值。
• 通过判别器使用学习奖励会增加方差与不稳定性，尤其在 ADR 中表现明显，但 SimOpt 从该方法中受益。
• 基于粒子的方法（如 ADR 与 SimOpt）实现了强大的零样本泛化性能，表明实现完整后验恢复并非有效仿真到现实迁移的必要条件。
• 该基准表明，即使缺乏精确的后验估计，仅从收敛粒子中采样即可实现高下游任务性能，提示在实际部署中具有较高的实用性与效率。