[论文解读] Evaluating Real-World Robot Manipulation Policies in Simulation

Xuanlin Li, Kyle Hsu+14 more|arXiv (Cornell University)|May 9, 2024

Robot Manipulation and Learning被引用 4

一句话总结

本文提出 SIMPLER，一套可扩展、可复现且可靠的模拟环境，用于在无需完整保真度数字孪生的前提下评估现实世界机器人操作策略。通过系统辨识、绿幕技术及纹理烘焙解决控制与视觉差异，作者展示了在多种策略与任务中，模拟环境与真实世界表现之间具有极高的相关性，从而实现通用操作策略的高效仿真到现实的评估。

ABSTRACT

The field of robotics has made significant advances towards generalist robot manipulation policies. However, real-world evaluation of such policies is not scalable and faces reproducibility challenges, which are likely to worsen as policies broaden the spectrum of tasks they can perform. We identify control and visual disparities between real and simulated environments as key challenges for reliable simulated evaluation and propose approaches for mitigating these gaps without needing to craft full-fidelity digital twins of real-world environments. We then employ these approaches to create SIMPLER, a collection of simulated environments for manipulation policy evaluation on common real robot setups. Through paired sim-and-real evaluations of manipulation policies, we demonstrate strong correlation between policy performance in SIMPLER environments and in the real world. Additionally, we find that SIMPLER evaluations accurately reflect real-world policy behavior modes such as sensitivity to various distribution shifts. We open-source all SIMPLER environments along with our workflow for creating new environments at https://simpler-env.github.io to facilitate research on general-purpose manipulation policies and simulated evaluation frameworks.

研究动机与目标

• 解决通用机器人操作策略在现实世界评估中的可扩展性与可复现性挑战。
• 克服全保真度数字孪生的局限性，后者构建耗时且资源消耗大。
• 开发一种基于仿真的评估框架，在控制与视觉差异存在的情况下仍能保持与真实世界表现的高度相关性。
• 在仿真中准确反映策略行为模式，例如对分布偏移的敏感性。
• 通过开源 SIMPLER 环境与评估工作流，推动通用操作策略研究的广泛开展。

提出的方法

• 使用离线系统辨识校准真实与仿真环境之间的控制动态，降低控制差异。
• 应用“绿幕”技术，利用真实世界背景模拟观测，提升视觉真实感与对齐度。
• 从真实世界图像中烘焙物体纹理，提升仿真中的视觉保真度，而无需完整的3D重建。
• 设计模块化流程，使用标准 Gym 接口创建新的 SIMPLER 环境，实现轻松集成与复用。
• 在 SIMPLER 环境中评估策略，并使用皮尔逊相关系数与 MMRV 等指标，直接对比真实世界表现。
• 进行 Kruskal-Wallis 检验，评估真实与仿真评估中绝对成功率分布的差异。

Figure 0 : We introduce SIMPLER, a suite of open-source simulated evaluation environments for common real robot manipulation setups, namely the Google Robot evaluations from the RT-series of works [ 6 , 5 , 11 ] , and environments from the BridgeData V2 dataset [ 66 ] . All environments can be impor

实验结果

研究问题

• RQ1 基于仿真的评估能否作为通用机器人操作策略现实世界评估的可扩展、可复现且可靠的代理？
• RQ2 真实与仿真环境之间控制与视觉差异在多大程度上降低了仿真评估的保真度？
• RQ3 是否可以在不构建真实环境全保真度数字孪生的前提下，实现有效的仿真评估？
• RQ4 SIMPLER 是否能准确反映真实世界策略行为模式，例如对视觉分布偏移的鲁棒性？
• RQ5 SIMPLER 在涵盖单任务策略等不同数据规模训练的策略上，泛化能力如何？

主要发现

• 与基线仿真方法相比，SIMPLER 评估显示出显著更高的皮尔逊相关系数和明显更低的 MMRV（平均中位数相对方差），真实与仿真表现之间相关性更强。
• 该框架准确反映了策略行为模式，例如对视觉分布偏移的敏感性，其保真度超越了简单的性能排序。
• 即使对于单任务策略（如“抓取可乐罐”），SIMPLER 仍保持低 MMRV 与高皮尔逊相关系数，证实其在不同数据规模下的有效性。
• Kruskal-Wallis 检验表明，大多数任务中仿真成功率分布与真实世界分布无显著差异，表明绝对性能偏移极小。
• 视觉匹配评估方法在大多数任务中未导致显著分布偏移（p ≥ 0.05），验证了仿真流程的鲁棒性。
• MMRV 与 Kruskal-Wallis 指标提供互补洞察：MMRV 衡量相对性能对齐程度，Kruskal-Wallis 评估绝对分布一致性。

Figure 1 : Illustration of Mean Maximum Rank Violation (MMRV, range $[0,1]$ , lower is better) and Pearson correlation coefficient (Pearson $r$ , range $[-1,1]$ , higher is better) for assessing the correlation between policy performances in real-world and simulation, as well as the overall quality