[论文解读] How to Close Sim-Real Gap? Transfer with Segmentation!

Mengyuan Yan, Qingyun Sun+3 more|arXiv (Cornell University)|May 14, 2020

Robot Manipulation and Learning参考文献 22被引用 6

一句话总结

该论文提出了一种模块化、基于分割监督的方法，通过Povray渲染生成逼真且多样的训练图像，并将真实背景图像与之合成，以缩小机器人操作中的仿真到现实的泛化差距，同时利用DAGGER提升失败恢复能力。该方法在真实世界抓取任务中实现了88%的成功率，优于无监督基线方法，原因在于显式的分割监督利用了合成标注，使策略学习更高效。

ABSTRACT

One fundamental difficulty in robotic learning is the sim-real gap problem. In this work, we propose to use segmentation as the interface between perception and control, as a domain-invariant state representation. We identify two sources of sim-real gap, one is dynamics sim-real gap, the other is visual sim-real gap. To close dynamics sim-real gap, we propose to use closed-loop control. For complex task with segmentation mask input, we further propose to learn a closed-loop model-free control policy with deep neural network using imitation learning. To close visual sim-real gap, we propose to learn a perception model in real environment using simulated target plus real background image, without using any real world supervision. We demonstrate this methodology in eye-in-hand grasping task. We train a closed-loop control policy model that taking the segmentation as input using simulation. We show that this control policy is able to transfer from simulation to real environment. The closed-loop control policy is not only robust with respect to discrepancies between the dynamic model of the simulated and real robot, but also is able to generalize to unseen scenarios where the target is moving and even learns to recover from failures. We train the perception segmentation model using training data generated by composing real background images with simulated images of the target. Combining the control policy learned from simulation with the perception model, we achieve an impressive $\bf{88\%}$ success rate in grasping a tiny sphere with a real robot.

研究动机与目标

• 通过提升仿真中视觉真实感和标注保真度，解决机器人模仿学习中的仿真到现实域差距问题。
• 通过DAGGER迭代式专家反馈，使智能体学习失败恢复能力，从而增强策略鲁棒性。
• 证明在模块化网络架构中引入显式分割监督，相比无监督特征学习，能更有效地提升对真实世界环境的泛化能力。
• 通过集成逼真图像合成与自适应训练调度，实现高效端到端训练。

提出的方法

• 通过在Povray中精确建模光照与阴影，渲染场景以生成逼真训练图像，包括夹爪托盘近似以模拟真实球体阴影。
• 通过Alpha混合将Povray渲染图像与真实机器人工作区背景图像进行合成，以提升视觉多样性与真实感。
• 在训练期间对HSV空间进行随机化，以适应真实世界中的光照与色彩变化。
• 使用Gazebo和Povray生成的合成掩码，对像素级分割监督进行视觉模块训练，实现精确的物体定位。
• 采用双模块系统：视觉模块负责分割，控制模块负责动作预测，通过DAGGER联合训练以提升失败恢复能力。
• 通过暂停物理仿真进行渲染、调整DAGGER每轮迭代的训练周期数，并优化训练调度，将端到端训练时间从134天减少至7天。

实验结果

研究问题

• RQ1 结合逼真图像合成与分割监督，能否提升机器人抓取任务中仿真到现实的迁移性能？
• RQ2 与无监督特征学习相比，显式分割监督是否能带来更好的视觉模块泛化性能？
• RQ3 基于DAGGER的微调能否有效教会策略恢复专家演示中未出现过的失败情况？
• RQ4 与独立模块训练相比，使用合成逼真图像的端到端训练在真实世界性能上表现如何？
• RQ5 架构选择（如特征图尺寸与监督类型）对真实世界抓取成功率有何影响？

主要发现

• 在无杂乱物干扰的情况下，所提方法在真实世界抓取任务中实现了88%的成功率，显著优于无监督基线方法。
• 在存在杂乱物的情况下，端到端训练的网络在5次试验中成功抓取球体4次，表现出对真实世界干扰物的鲁棒性。
• 采用分割监督的网络训练损失显著低于两种无监督变体，表明其优化效果更好、收敛更稳定。
• 尽管无监督特征图变体已接近目标球体，但仍无法完成抓取，凸显了结构化监督的重要性。
• 通过自适应调度与渲染优化，端到端训练时间从预估的134天缩短至7天（单张Titan X GPU）。
• 由于像素级监督，视觉模块仅需9小时即可训练完成，每张图像有效贡献约10,000个相关样本。