[论文解读] Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World

Josh Tobin, Rachel Fong+4 more|arXiv (Cornell University)|Mar 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 46被引用 206

一句话总结

该论文证明完全在仿真中通过领域随机化训练的目标检测器可以转移到现实世界，并在杂乱环境中实现抓取，而无需实际世界训练数据。

ABSTRACT

Bridging the 'reality gap' that separates simulated robotics from experiments on hardware could accelerate robotic research through improved data availability. This paper explores domain randomization, a simple technique for training models on simulated images that transfer to real images by randomizing rendering in the simulator. With enough variability in the simulator, the real world may appear to the model as just another variation. We focus on the task of object localization, which is a stepping stone to general robotic manipulation skills. We find that it is possible to train a real-world object detector that is accurate to $1.5$cm and robust to distractors and partial occlusions using only data from a simulator with non-realistic random textures. To demonstrate the capabilities of our detectors, we show they can be used to perform grasping in a cluttered environment. To our knowledge, this is the first successful transfer of a deep neural network trained only on simulated RGB images (without pre-training on real images) to the real world for the purpose of robotic control.

研究动机与目标

• 通过在仿真中训练来加速、降低成本的机器人数据收集，以弥合现实差距。
• 提出领域随机化作为一种方法，通过让模型暴露于高度多样化的合成纹理和场景配置来实现对现实视觉的泛化。
• 证明仅在随机化的仿真RGB图像上训练的检测器，在现实世界中可以高精度定位对象。
• 证明所学习的检测器可用于在现实世界的杂乱环境中执行抓取。

提出的方法

• 训练一个基于CNN的目标检测器（修改的 VGG-16）以将单帧单目图像映射到3D对象坐标。
• 在仿真中对大量场景方面进行随机化，包括对象数量、纹理、照明、相机姿态和噪声，使用非真实纹理。
• 使用 MuJoCo 的渲染器生成数十万张带标签样本。
• 使用预训练权重（ImageNet）或随机初始化，并在 L2 损失上使用 Adam 来优化对象中心坐标。
• 在真实的网络摄像头图像上在干扰和遮挡下评估定位精度，并用 Fetch 机器人进行机器人抓取实验。

实验结果

研究问题

• RQ1 领域随机化是否能够实现从单个 RGB 图像进行精确对象定位的 sim-to-real 转移，而无需真实世界的标注数据？
• RQ2 领域随机化的哪些元素（纹理、相机姿态、照明、干扰项）对鲁棒的现实世界性能至关重要？
• RQ3 在转移中，是否必须在真实图像上进行预训练，还是只要有足够的合成数据即可用随机初始化？
• RQ4 在仿真中训练的检测器能否支持现实世界杂乱场景中的机器人抓取？

主要发现

• 仅在带领域随机化的仿真数据上训练的检测器在现实世界的定位精度约为1.5 cm，平均值。
• 在现实场景中对干扰项和部分遮挡仍保持鲁棒性。
• 在足够的合成数据下，事先在真实图像上进行预训练并非严格必要；随机初始化可达到与预训练性能相当，尽管预训练在低数据情境下有帮助。
• 在机器人实验中，这些检测器使 Fetch 机器人在40次试验中有38次在杂乱环境中实现成功抓取。
• 该方法可以扩展到具有非均匀纹理的现实世界对象（例如 YCB 数据集中的罐子），大多数试验中实现成功挑选。