[论文解读] Analysis of Training Object Detection Models with Synthetic Data

Bram Vanherle, Steven Moonen+2 more|arXiv (Cornell University)|Nov 29, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文通过在DIMO数据集上分析数据生成策略与训练技术，研究了如何有效利用合成数据训练目标检测模型。研究发现，通过微调少量真实数据可显著提升性能——达到83.7 mAP，超越仅使用真实数据训练的模型；当匹配真实世界领域时，全网络微调的迁移学习性能优于特征冻结的微调方法。

ABSTRACT

Recently, the use of synthetic training data has been on the rise as it offers correctly labelled datasets at a lower cost. The downside of this technique is that the so-called domain gap between the real target images and synthetic training data leads to a decrease in performance. In this paper, we attempt to provide a holistic overview of how to use synthetic data for object detection. We analyse aspects of generating the data as well as techniques used to train the models. We do so by devising a number of experiments, training models on the Dataset of Industrial Metal Objects (DIMO). This dataset contains both real and synthetic images. The synthetic part has different subsets that are either exact synthetic copies of the real data or are copies with certain aspects randomised. This allows us to analyse what types of variation are good for synthetic training data and which aspects should be modelled to closely match the target data. Furthermore, we investigate what types of training techniques are beneficial towards generalisation to real data, and how to use them. Additionally, we analyse how real images can be leveraged when training on synthetic images. All these experiments are validated on real data and benchmarked to models trained on real data. The results offer a number of interesting takeaways that can serve as basic guidelines for using synthetic data for object detection. Code to reproduce results is available at https://github.com/EDM-Research/DIMO_ObjectDetection.

研究动机与目标

• 识别能有效提升模型在真实世界目标检测任务中泛化能力的合成数据生成策略。
• 评估迁移学习与数据增强等训练技术在合成数据训练中的效果。
• 确定将真实图像有效整合到合成训练流程中的最优方式。
• 在真实测试数据上对仅使用合成数据、仅使用真实数据以及混合模型的性能进行基准测试。
• 为工业界与研究领域提供实用且广泛适用的合成数据在目标检测中应用的指导原则。

提出的方法

• 实验基于DIMO数据集开展，该数据集包含真实图像、精确的合成复制品，以及在光照、姿态和纹理方面经过随机化处理的合成子集。
• 采用标准目标检测架构进行训练，结合数据增强与迁移学习，对比特征提取器冻结与微调两种策略。
• 评估了两种真实数据整合策略：在训练过程中混合真实与合成数据，以及在预训练的合成模型上对真实数据进行微调。
• 通过在保留的真实测试集上计算平均精度均值（mAP）来衡量性能，并对数据比例与变化类型进行消融实验。
• 所有实验均保持总数据集大小为3510张图像，通过调整真实数据与合成数据的比例（1:9至1:1）来评估可扩展性与效率。
• 所有实验均在真实世界数据上进行验证，以确保实际相关性与领域泛化能力。

实验结果

研究问题

• RQ1 哪些合成数据变化（如光照、姿态、纹理）最能提升对真实图像的泛化能力？
• RQ2 在合成数据上训练时，微调整个网络是否优于冻结特征提取器？
• RQ3 将少量真实数据与合成数据结合，对提升真实世界性能有多有效？
• RQ4 为最大化真实测试集上的mAP，真实数据与合成数据的最佳比例是多少？
• RQ5 与精确复制真实数据相比，合成数据生成中的领域随机化是否能带来更好的泛化效果？

主要发现

• 仅用10%的真实图像对在完全随机化合成数据上预训练的模型进行微调，即可达到82.05 mAP，较仅使用真实数据的基线模型高出近5个百分点。
• 性能最佳的混合模型采用1:1的真实与合成数据比例并通过微调实现，mAP达到83.7，优于仅使用合成数据或仅使用真实数据的模型。
• 在训练过程中混合真实与合成数据可提升性能，即使真实数据比例较小，最高可达80.13 mAP（合成数据:真实数据 = 5:1）。
• 与部分先前研究相反，使用迁移学习对整个网络（包括特征提取器）进行重新训练，其结果优于冻结特征提取器的策略。
• 当合成数据的光照与姿态条件与真实世界领域相匹配时，性能有所提升，但仅在结合完整微调时才有效。
• 结果表明，当结合极少量真实数据（尤其是通过微调）时，合成数据可极为有效，为构建高性能模型提供了一条成本效益高的路径。