[论文解读] VR-Goggles for Robots: Real-to-sim Domain Adaptation for Visual Control

Jingwei Zhang, Lei Tai+5 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Vision and Imaging参考文献 32被引用 16

一句话总结

本文提出 VR-Goggles，一种真实到仿真域自适应方法，可在推理阶段将真实世界相机视频流转换为仿真环境风格，使预训练的深度强化学习策略无需微调即可泛化到真实环境。通过引入一种位移损失以确保翻译图像序列的时间一致性，该方法在室内导航和室外自动驾驶任务中均实现了高成功率，优于基线的仿真到真实方法。

ABSTRACT

In this paper, we deal with the reality gap from a novel perspective, targeting transferring Deep Reinforcement Learning (DRL) policies learned in simulated environments to the real-world domain for visual control tasks. Instead of adopting the common solutions to the problem by increasing the visual fidelity of synthetic images output from simulators during the training phase, we seek to tackle the problem by translating the real-world image streams back to the synthetic domain during the deployment phase, to make the robot feel at home. We propose this as a lightweight, flexible, and efficient solution for visual control, as 1) no extra transfer steps are required during the expensive training of DRL agents in simulation; 2) the trained DRL agents will not be constrained to being deployable in only one specific real-world environment; 3) the policy training and the transfer operations are decoupled, and can be conducted in parallel. Besides this, we propose a simple yet effective shift loss that is agnostic to the downstream task, to constrain the consistency between subsequent frames which is important for consistent policy outputs. We validate the shift loss for artistic style transfer for videos and domain adaptation, and validate our visual control approach in indoor and outdoor robotics experiments.

研究动机与目标

• 通过在推理阶段将真实世界传感器输入翻译为仿真域，解决视觉控制中的现实差距问题，而非在训练阶段进行。
• 将策略训练与域自适应解耦，实现在多种真实世界环境中并行且高效的部署。
• 通过引入一种对下游任务无感的新型位移损失，提升控制任务中翻译图像序列的一致性。
• 在室内和室外机器人场景中验证该方法，证明无需微调策略即可实现鲁棒泛化。
• 提供一种轻量化、灵活且高效的解决方案，实现 DRL 策略从仿真到真实世界部署的迁移。

提出的方法

• 该方法采用真实到仿真图像翻译网络，将真实世界的 RGB 图像映射到 DRL 策略训练所用的仿真域。
• 提出一种新型位移损失，以强制连续翻译帧之间的一致性，提升时间连贯性，且无需光流或序列监督。
• 位移损失端到端训练，对下游控制任务无感，从而在不同环境中具有广泛适用性。
• 域自适应仅在推理阶段执行，将其实现与仿真中昂贵的 DRL 训练过程解耦。
• 该方法采用 CycleGAN 风格架构，结合循环一致性与位移损失，使用每环境 2000 张真实图像进行训练，以适应新的真实世界场景。
• 该方法应用于室内导航（Turtlebot3 在办公室环境）和室外自动驾驶（Bulldog 在夜间城镇），使用 Carla 进行仿真，真实数据集用于真实世界测试。

实验结果

研究问题

• RQ1 在推理阶段进行真实到仿真的图像翻译，是否能有效使仿真中训练的 DRL 策略泛化到真实世界的视觉控制任务？
• RQ2 与标准的循环一致性 GAN 相比，所提出的位移损失在提升翻译图像序列一致性方面表现如何？
• RQ3 该方法是否可在无需微调或重新训练控制策略的前提下，部署于多个视觉特征显著不同的真实世界环境中？
• RQ4 将策略训练与域自适应解耦，是否能在真实世界部署中带来显著的效率提升？
• RQ5 在具有挑战性的视觉域中，该方法与现有仿真到真实方法相比，在成功率和鲁棒性方面表现如何？

主要发现

• 在室内办公室导航任务中，VR-Goggles 达到了 100% 的成功率，显著优于 CycleGAN（60%）和 No-Goggles（0%），证明其域自适应质量更优。
• 控制策略在 NVIDIA TX2 上以 13 Hz 实时运行，证实该方法计算开销极低。
• 在室外自动驾驶任务中，VR-Goggles 有效引导车辆沿夜间道路行驶，而 No-Goggles 因白天仿真与夜间真实环境之间巨大的域差距而完全失败。
• 位移损失有效提升了翻译图像序列的时间一致性，减少了闪烁现象，提升了策略稳定性，且无需光流或序列数据。
• 该方法仅需每域 2000 张真实图像即可在新环境中部署，无需重新训练控制策略，证明其灵活性与可扩展性。
• 视频演示证实，VR-Goggles 可快速适应新环境（如新家具类型），而无需修改预训练策略。