[论文解读] An Annotation Saved is an Annotation Earned: Using Fully Synthetic Training for Object Instance Detection

Stefan Hinterstoißer, Olivier Pauly+3 more|arXiv (Cornell University)|Feb 26, 2019

Advanced Neural Network Applications参考文献 31被引用 29

一句话总结

本文提出了一种完全基于合成数据的物体实例检测训练流程，采用3D背景模型进行全领域随机化渲染，并结合课程学习策略，确保前景物体在所有姿态和条件下得到均衡、渐进式的训练暴露。该方法在真实世界基准测试中实现了最先进性能，优于仅使用真实数据训练的模型。

ABSTRACT

Deep learning methods typically require vast amounts of training data to reach their full potential. While some publicly available datasets exists, domain specific data always needs to be collected and manually labeled, an expensive, time consuming and error prone process. Training with synthetic data is therefore very lucrative, as dataset creation and labeling comes for free. We propose a novel method for creating purely synthetic training data for object detection. We leverage a large dataset of 3D background models and densely render them using full domain randomization. This yields background images with realistic shapes and texture on top of which we render the objects of interest. During training, the data generation process follows a curriculum strategy guaranteeing that all foreground models are presented to the network equally under all possible poses and conditions with increasing complexity. As a result, we entirely control the underlying statistics and we create optimal training samples at every stage of training. Using a set of 64 retail objects, we demonstrate that our simple approach enables the training of detectors that outperform models trained with real data on a challenging evaluation dataset.

研究动机与目标

• 解决为物体检测收集和标注真实世界训练数据所面临的高成本和可扩展性问题。
• 在不依赖真实背景数据的前提下，弥合合成图像与真实图像之间的领域差距。
• 开发一种可扩展的、完全基于合成数据的生成流水线，以实现对真实世界条件的鲁棒泛化。
• 证明仅使用合成数据即可在物体实例检测任务中超越真实数据训练的模型。

提出的方法

• 利用大规模3D背景模型数据集，通过全领域随机化渲染生成逼真且杂乱的背景。
• 采用课程学习策略，逐步提升训练数据的复杂度，确保所有前景物体在所有姿态和条件下得到均衡暴露。
• 将3D前景物体渲染到完全合成的背景上，同时随机化光照、模糊和噪声以增强真实感。
• 将随机焦距、灯光颜色和图像模糊作为领域随机化的一部分，以提升模型鲁棒性。
• 确保整个背景图像完全由合成杂乱物体填充，避免出现部分真实背景。
• 仅使用此类合成数据训练物体检测器（例如Faster R-CNN），不引入任何真实数据。

实验结果

研究问题

• RQ1 完全基于合成数据的训练流程是否能在物体实例检测任务中超越仅使用真实数据训练的模型？
• RQ2 在合成数据生成中，课程学习策略与简单随机姿态采样相比，性能表现如何？
• RQ3 背景构成（完全合成 vs. 真实与合成混合）对检测性能有何影响？
• RQ4 渲染流水线中的哪些组件（如模糊、光照）对模型泛化能力影响最大？
• RQ5 增加背景物体的数量或尺寸是否能提升检测器对杂乱背景的鲁棒性？

主要发现

• 在具有挑战性的真实世界评估基准上，仅使用合成数据训练的模型性能优于使用真实数据训练的模型。
• 与简单的随机姿态采样相比，课程学习策略显著提升了检测性能，尤其在训练初期阶段表现更优。
• 使用完全由杂乱物体填充的纯合成背景，其性能优于部分包含真实背景的情况，即使混合了真实图像也是如此。
• 模糊处理和随机灯光颜色是该流水线中影响最大的图像增强步骤，而焦距变化的影响最小。
• 增加每张图像中的前景物体数量可提升检测性能，物体数量越多，泛化能力越强。
• 最优背景物体尺度范围与前景物体相当或更大，因为过小的尺度会使前景物体更易区分，反而降低模型鲁棒性。