[论文解读] Are We Making Real Progress in Simulated Environments? Measuring the Sim2Real Gap in Embodied Visual Navigation

Abhishek Kadian, Joanne Truong+7 more|arXiv (Cornell University)|Dec 13, 2019

Reinforcement Learning in Robotics参考文献 10被引用 39

一句话总结

本文提出了Habitat-PyRobot Bridge（HaPy），一种使相同代码在仿真和真实机器人智能体上执行的工具，并提出了一项新指标——Sim-vs-Real相关系数（SRCC），用于评估具身视觉导航任务中从仿真到现实的预测能力。研究发现，由于智能体利用仿真器缺陷（如墙体滑行）导致先前的仿真到现实迁移效果较弱（SRCC = 0.18），但通过优化仿真参数，SRCC可提升至0.844，从而实现可靠的现实世界泛化能力。

ABSTRACT

Does progress in simulation translate to progress in robotics? Specifically, if method A outperforms method B in simulation, how likely is the trend to hold in reality on a robot? We examine this question for embodied (PointGoal) navigation, developing engineering tools and a research paradigm for evaluating a simulator by its sim2real predictivity, revealing surprising findings about prior work. First, we develop Habitat-PyRobot Bridge (HaPy), a library for seamless execution of identical code on a simulated agent and a physical robot. Habitat-to-Locobot transfer with HaPy involves just one line change in config, essentially treating reality as just another simulator! Second, we investigate sim2real predictivity of Habitat-Sim for PointGoal navigation. We 3D-scan a physical lab space to create a virtualized replica, and run parallel tests of 9 different models in reality and simulation. We present a new metric called Sim-vs-Real Correlation Coefficient (SRCC) to quantify sim2real predictivity. Our analysis reveals several important findings. We find that SRCC for Habitat as used for the CVPR19 challenge is low (0.18 for the success metric), which suggests that performance improvements for this simulator-based challenge would not transfer well to a physical robot. We find that this gap is largely due to AI agents learning to 'cheat' by exploiting simulator imperfections: specifically, the way Habitat allows for 'sliding' along walls on collision. Essentially, the virtual robot is capable of cutting corners, leading to unrealistic shortcuts through non-navigable spaces. Naturally, such exploits do not work in the real world where the robot stops on contact with walls. Our experiments show that it is possible to optimize simulation parameters to enable robots trained in imperfect simulators to generalize learned skills to reality (e.g. improving $SRCC_{Succ}$ from 0.18 to 0.844).

研究动机与目标

• 评估仿真中性能提升是否能可靠地迁移到真实机器人领域，特别是在具身视觉导航任务中。
• 开发一种实用的工程框架，实现在仿真智能体和物理机器人上运行完全相同的代码。
• 在PointGoal导航背景下，通过新指标Sim-vs-Real相关系数（SRCC）量化仿真到现实的预测能力。
• 识别并分析仿真器特有行为（如墙体滑行）如何误导智能体并降低真实世界性能。
• 证明通过调整仿真参数可显著提升仿真到现实的可迁移性。

提出的方法

• 开发了HaPy，一个库，通过一行配置更改即可在仿真和真实世界执行之间切换，将物理机器人视为另一种仿真器。
• 构建了一个真实实验室空间的高保真3D扫描，用于创建虚拟副本，实现在仿真和现实中并行测试。
• 在相同条件下，在仿真和真实环境中执行了9种不同的导航模型，以实现直接对比。
• 引入Sim-vs-Real相关系数（SRCC）以衡量模型在仿真和真实世界中排名的相关性。
• 系统性地调整仿真参数，特别是碰撞响应和导航约束，以减少仿真器特有作弊行为。
• 评估参数调优对SRCC的影响，以评估仿真到现实预测能力的提升。

实验结果

研究问题

• RQ1 仿真中的性能排名在多大程度上能预测具身视觉导航智能体在真实世界中的表现？
• RQ2 哪些具体的仿真器缺陷导致了较差的仿真到现实迁移？它们如何误导智能体？
• RQ3 Sim-vs-Real相关系数（SRCC）能否作为评估仿真到现实预测能力的可靠指标？
• RQ4 仿真器特有行为（如墙体滑行）如何影响基于仿真训练在真实机器人上的可靠性？
• RQ5 通过调整仿真参数能否显著提升仿真到现实的可迁移性？如果是，提升幅度有多大？

主要发现

• 在CVPR19挑战赛中使用的标准Habitat-Sim设置下，成功指标的Sim-vs-Real相关系数（SRCC）仅为0.18，表明仿真到现实的可迁移性较差。
• 仿真到现实迁移性差的主要原因是智能体利用了仿真器的缺陷，特别是能够‘滑行’沿墙壁移动并以不现实的方式穿越不可通行区域。
• 在真实世界中，此类墙体滑行行为无法实现，导致即使在仿真中表现优异的智能体在现实中也会失败。
• 通过调整仿真参数以禁用墙体滑行并强制实现真实的碰撞行为，成功指标的SRCC从0.18提升至0.844，显著提高了仿真到现实的预测能力。
• 结果表明，通过合理的仿真配置，仿真训练可以可靠地预测真实世界表现，使仿真到现实迁移成为可能。