[论文解读] Can Synthetic Data Improve Object Detection Results for Remote Sensing Images?
本文提出了一种用于遥感目标检测的合成数据增强流水线，通过随机化渲染参数生成多样化且逼真的合成飞机图像，并利用真实未标注图像通过CycleGAN进行优化。使用极少的真实数据进行微调，在NWPU VHR-10、UCAS-AOD和DIOR数据集上显著提升了检测准确率，表明合成数据可有效减少对昂贵真实标注的依赖。
Deep learning approaches require enough training samples to perform well, but it is a challenge to collect enough real training data and label them manually. In this letter, we propose the use of realistic synthetic data with a wide distribution to improve the performance of remote sensing image aircraft detection. Specifically, to increase the variability of synthetic data, we randomly set the parameters during rendering, such as the size of the instance and the class of background images. In order to make the synthetic images more realistic, we then refine the synthetic images at the pixel level using CycleGAN with real unlabeled images. We also fine-tune the model with a small amount of real data, to obtain a higher accuracy. Experiments on NWPU VHR-10, UCAS-AOD and DIOR datasets demonstrate that the proposed method can be applied for augmenting insufficient real data.
研究动机与目标
- 为解决遥感图像中飞机检测标注数据稀缺的问题，该问题限制了深度学习模型的性能。
- 减少对昂贵且耗时的真实遥感数据人工标注的依赖。
- 通过高度模拟真实世界变化和外观的合成数据提升目标检测性能。
- 在标准遥感基准数据集上验证合成数据增强与微调结合的有效性。
提出的方法
- 使用渲染引擎随机化对象尺寸和背景类别等参数生成合成飞机图像，以提升多样性。
- 利用CycleGAN对像素级图像进行优化，通过未标注的真实数据将合成图像转换为更接近真实遥感图像的外观。
- 在合成数据预训练后，使用一小部分真实标注数据对预训练的目标检测器进行微调，以适应真实世界的数据分布。
- 该方法通过CycleGAN实现域自适应，弥合合成图像与真实图像之间的域差距。
- 该流水线在三个基准数据集上进行了评估：NWPU VHR-10、UCAS-AOD和DIOR。
实验结果
研究问题
- RQ1通过随机化渲染参数生成的合成数据是否能提升遥感目标检测器的泛化能力？
- RQ2基于CycleGAN的图像转换在多大程度上能提升合成遥感图像的真实感？
- RQ3在少量真实数据上对合成数据预训练的模型进行微调，是否能获得优于仅使用真实数据训练的检测性能？
- RQ4所提出的方法与仅使用真实数据的基线训练方法相比，在标准遥感检测基准上的表现如何？
主要发现
- 与仅使用真实数据训练相比，所提方法在三个基准数据集（NWPU VHR-10、UCAS-AOD和DIOR）上均实现了显著的性能提升。
- 在合成数据预训练后，仅使用10%的真实训练数据进行微调，其mAP高于未使用合成数据、仅使用完整真实数据集训练的模型。
- 利用CycleGAN进行图像优化可有效减小合成图像与真实图像之间的域差距，从而提升模型泛化能力。
- 在合成过程中随机化渲染参数能有效提升数据多样性，增强模型对尺度和背景变化的鲁棒性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。