[论文解读] How much real data do we actually need: Analyzing object detection performance using synthetic and real data

Farzan Erlik Nowruzi, Prince Kapoor+4 more|arXiv (Cornell University)|Jul 16, 2019

Advanced Neural Network Applications参考文献 46被引用 67

一句话总结

本文分析合成数据如何在自主驾驶中的 SSD-MobileNet 目标检测中替代或补充真实数据，并提出在真实数据有限的情况下通过混合训练和微调来最大化性能的训练策略。

ABSTRACT

In recent years, deep learning models have resulted in a huge amount of progress in various areas, including computer vision. By nature, the supervised training of deep models requires a large amount of data to be available. This ideal case is usually not tractable as the data annotation is a tremendously exhausting and costly task to perform. An alternative is to use synthetic data. In this paper, we take a comprehensive look into the effects of replacing real data with synthetic data. We further analyze the effects of having a limited amount of real data. We use multiple synthetic and real datasets along with a simulation tool to create large amounts of cheaply annotated synthetic data. We analyze the domain similarity of each of these datasets. We provide insights about designing a methodological procedure for training deep networks using these datasets.

研究动机与目标

• 评估减少真实数据对目标检测性能的影响。
• 研究数据集分布/多样性与模型准确度之间的关系。
• 评估混合训练（合成与真实数据）与仅用真实数据进行微调的效果比较。
• 提出在大规模合成数据与小规模真实数据下的训练程序性指导。
• 研究组合多个人工数据集对真实数据泛化能力的影响。

提出的方法

• 在车和人类类别上对 real 与 synthetic 数据集的混合进行训练，使用 SSD-MobileNet。
• 系统性地变动真实数据比例（100%、10%、5%、2.5%）以及合成对真实的比例。
• 使用 IoU 阈值在 0.5–0.95 间，以 0.05 的步长计算精确度/召回率进行评估。
• 通过在合成数据上预训练再在真实数据上微调来执行迁移学习。
• 比较混合训练与微调以及数据集组合的效果。

实验结果

研究问题

• RQ1 减少真实训练数据如何影响跨数据集的目标检测性能？
• RQ2 不同合成数据集在训练出能泛化到真实数据的模型方面有何差异？
• RQ3 在等效真实数据量下，混合合成数据与真实数据是否比仅使用真实数据的训练性能更好？
• RQ4 在合成预训练之后对真实数据进行微调是否比混合训练更有效？
• RQ5 结合多个合成数据集对真实数据泛化有什么影响？

主要发现

• 显著减少真实数据会降低车和人检测的精度和召回率。
• 由于可变形性和多样性，人与检测对数据量减少更为敏感。
• 合成数据的混合训练在性能上优于仅使用少量真实数据，但在合成预训练后进行微调能带来更大的增益，尤其是在人员分类上。
• 迁移学习（先在合成数据上预训练再用真实数据微调）提供更稳定的增益和更好的召回率，胜过混合训练。
• 将多个合成数据集结合通常比单一合成源得到更好的结果，除了像 BDD 这样的真实数据集。
• 7D（纯合成）在微调后与真实数据相匹配良好，而 CARLA 由于环境/相机模型不够准确而表现欠佳。