[论文解读] Applying Domain Randomization to Synthetic Data for Object Category Detection

João Borrego, Atabak Dehban+4 more|arXiv (Cornell University)|Jul 16, 2018

Advanced Neural Network Applications参考文献 23被引用 34

一句话总结

本文提出在非照片写实的合成数据上应用领域随机化，显著提升仅拥有少量真实世界数据时的目标检测性能。通过在具有随机纹理、视角和光照的合成对象上训练单次检测器（SSD），该方法在仅使用200张真实图像的情况下，mAP相比微调基线提升了25%。

ABSTRACT

Recent advances in deep learning-based object detection techniques have revolutionized their applicability in several fields. However, since these methods rely on unwieldy and large amounts of data, a common practice is to download models pre-trained on standard datasets and fine-tune them for specific application domains with a small set of domain relevant images. In this work, we show that using synthetic datasets that are not necessarily photo-realistic can be a better alternative to simply fine-tune pre-trained networks. Specifically, our results show an impressive 25% improvement in the mAP metric over a fine-tuning baseline when only about 200 labelled images are available to train. Finally, an ablation study of our results is presented to delineate the individual contribution of different components in the randomization pipeline.

研究动机与目标

• 在真实世界数据集稀缺的低数据场景下提升目标检测性能。
• 探究在标注样本有限的情况下，非照片写实的合成数据是否能优于在真实数据上微调的方法。
• 评估领域随机化流程中不同组件对检测器准确率的影响。
• 改进一个开源的Gazebo插件，以实现在机器人应用中更快、更灵活的合成数据生成。

提出的方法

• 使用经过修改的Gazebo插件生成合成数据集，该插件支持参数化对象创建和随机渲染参数。
• 领域随机化流程包括对物体纹理（平面、渐变、国际象棋、Perlin噪声）、视角和光照条件的随机化。
• 在随机化合成数据上预训练的SSD模型，随后在小规模真实世界数据集上进行微调。
• 使用保留的测试集上的mAP和各类别的AP来评估检测器性能。
• 进行了消融研究，以分离各随机化组件（如纹理类型和训练图像数量）的贡献。
• 扩展了Gazebo插件，通过消除冗余的对象加载，使场景生成速度提升100%。

实验结果

研究问题

• RQ1 当仅拥有少量真实图像时，经过领域随机化的合成数据是否能优于在真实数据上微调的方法？
• RQ2 不同类型的纹理随机化（如Perlin噪声与平面纹理）如何影响检测器的泛化能力？
• RQ3 在不过度拟合的前提下，达到高检测准确率所需的合成图像最优数量是多少？
• RQ4 视角和光照变化的引入如何影响模型的鲁棒性？
• RQ5 合成数据生成流程的改进（如插件优化）在多大程度上提升了领域随机化实验的可行性？

主要发现

• 当仅使用200张真实图像进行微调时，经过在随机化合成数据上预训练的模型相比微调基线，mAP相对提升了25%。
• 表现最佳的模型使用了不含'平面'纹理的合成数据，mAP达到0.8410，尽管训练样本更少，但仍优于包含所有纹理的模型。
• 在6,000张不含平面纹理的合成图像上训练的模型，优于在30,000张包含所有纹理的图像上训练的模型，表明纹理复杂度必须与数据量相平衡。
• Perlin噪声纹理被证明对检测性能至关重要，而平面纹理对模型准确率的贡献最小。
• 消融研究显示，视角变化和纹理多样性是关键组件，缺少Perlin噪声导致mAP下降10.7%。
• 经修改的Gazebo插件通过消除冗余对象加载，使场景生成速度提升一倍，从而实现了领域随机化实验的更快迭代。