[论文解读] Mixing Real and Synthetic Data to Enhance Neural Network Training -- A Review of Current Approaches

Viktor Seib, Benjamin P. Lange+1 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Neural Network Applications参考文献 45被引用 23

一句话总结

本文综述了在计算机视觉中通过混合真实数据与合成数据来提升深度神经网络训练的技术，特别聚焦于城市和交通场景。结果表明，通过迁移学习或联合训练将合成数据与真实数据结合，可有效减少域偏移，并在仅使用合成数据时表现更优，尤其在使用GTA5和SYNTHIA作为合成数据源时，于Cityscapes数据集上取得了当前最优性能。

ABSTRACT

Deep neural networks have gained tremendous importance in many computer vision tasks. However, their power comes at the cost of large amounts of annotated data required for supervised training. In this work we review and compare different techniques available in the literature to improve training results without acquiring additional annotated real-world data. This goal is mostly achieved by applying annotation-preserving transformations to existing data or by synthetically creating more data.

研究动机与目标

• 研究在真实世界标注数据有限的情况下提升深度神经网络性能的方法。
• 评估合成数据在减少对昂贵真实数据标注依赖方面的有效性。
• 分析混合真实与合成数据如何缓解城市场景理解中的域偏移问题。
• 识别在迁移学习与微调中使用合成数据的最佳实践。
• 探索生成对抗网络（GAN）生成的、逼真的合成数据集在未来计算机视觉应用中的潜力。

提出的方法

• 回顾几何变换、颜色抖动和CutOut等成熟的数据增强技术，以提升模型泛化能力。
• 调研基于ImageNet预训练模型的迁移学习与微调策略，适用于低数据量场景。
• 分析SYNTHIA和GTA5等合成城市场景数据集，包括其训练协议与评估指标。
• 评估域偏移缓解技术，如域随机化与基于GAN的图像翻译中的风格迁移。
• 考察近期基于GAN的方法，将语义图转换为逼真图像，以实现高保真度的合成数据生成。
• 提出一种通过语义图合成、物体插入与基于GAN的图像翻译生成合成数据的流程，以提升真实感。

实验结果

研究问题

• RQ1 在城市场景基准测试中，混合合成与真实数据与仅使用真实数据相比，模型性能如何？
• RQ2 合成数据单独训练能否构建出鲁棒的语义分割与目标检测模型？
• RQ3 在合成数据上训练时，哪些技术最有效地减轻域偏移？
• RQ4 不同的数据增强与迁移学习策略如何影响在真实数据有限情况下的模型泛化能力？
• RQ5 基于GAN的图像翻译方法在生成逼真合成城市场景中发挥何种作用？

主要发现

• 将GTA5和SYNTHIA的合成数据与真实Cityscapes数据混合，可显著减少域偏移，并在性能上优于仅使用合成数据训练。
• 在真实图像上训练仍能获得最佳结果，但合成数据与真实数据结合的训练方式优于仅使用合成数据的训练。
• 合成数据在训练覆盖大面积图像区域的背景类别时尤为有效，但在处理前景物体纹理方面表现不佳。
• 目标检测模型从合成数据中获益多于语义分割模型，因其对物体级特征的处理更优。
• 预训练的ImageNet模型可作为强基线，且通过微调的迁移学习能持续提升小样本数据集上的性能。
• 新兴的基于GAN的语义图到逼真图像的转换方法，显示出在不久的将来大规模生成高保真度真实感合成数据集的强大潜力。