[论文解读] Improve Object Detection by Data Enhancement based on Generative Adversarial Nets

Wei Jiang, Na Ying|arXiv (Cornell University)|Mar 5, 2019

Advanced Neural Network Applications参考文献 10被引用 8

一句话总结

本文提出了一种基于生成对抗网络（GAN）的数据增强方法，通过生成前景对象的逼真变化来提升目标检测性能，同时保持语义一致性。通过使用前景-背景分离模型对对象区域应用色彩抖动、噪声注入和对比度增强，该方法在使用321×321输入的DSSD模型上，使PASCAL VOC2007的mAP提升1.2%（达到78.7%），PASCAL VOC2012的mAP提升1.0%（达到76.6%）。

ABSTRACT

The accuracy of the object detection model depends on whether the anchor boxes effectively trained. Because of the small number of GT boxes or object target is invariant in the training phase, cannot effectively train anchor boxes. Improving detection accuracy by extending the dataset is an effective way. We propose a data enhancement method based on the foreground-background separation model. While this model uses a binary image of object target random perturb original dataset image. Perturbation methods include changing the color channel of the object, adding salt noise to the object, and enhancing contrast. The main contribution of this paper is to propose a data enhancement method based on GAN and improve detection accuracy of DSSD. Results are shown on both PASCAL VOC2007 and PASCAL VOC2012 dataset. Our model with 321x321 input achieves 78.7% mAP on the VOC2007 test, 76.6% mAP on the VOC2012 test.

研究动机与目标

• 解决目标检测数据集中因对象标注有限或不变而导致的锚框训练困难问题。
• 通过引入无需额外标注的逼真且多样的对象变化来增强训练数据，从而提升检测精度。
• 开发一种前景感知的数据增强策略，在引入视觉多样性的同时保持对象语义的一致性。
• 在标准基准上（特别是PASCAL VOC2007和VOC2012）验证基于GAN的增强方法的有效性。
• 通过有针对性的、语义保持的数据增强提升DSSD检测器的性能。

提出的方法

• 训练一个前景-背景分离模型，以识别并分离输入图像中的对象区域。
• 仅对前景对象区域应用数据增强技术——色彩通道抖动、椒盐噪声和对比度增强。
• 使用基于GAN的生成器合成保持对象身份和上下文一致性的逼真扰动。
• 将增强后的图像整合到训练集中，以提升模型的泛化能力和锚框学习效果。
• 在321×321输入分辨率下，对增强后的数据集微调DSSD检测器。
• 利用对抗训练确保生成图像的逼真性和多样性，避免增强过程中的模式崩溃。

实验结果

研究问题

• RQ1 当真实训练数据有限时，基于GAN的数据增强是否能提升目标检测性能？
• RQ2 与标准增强方法相比，针对前景的特定数据增强是否能带来更好的泛化能力？
• RQ3 语义保持的扰动能否增强锚框训练，并提升标准基准上的mAP？
• RQ4 与基线数据增强方法相比，该方法在PASCAL VOC数据集上的mAP增益如何？
• RQ5 使用前景-背景分离模型在多大程度上提升了增强数据的真实感和有效性？

主要发现

• 所提方法在PASCAL VOC2007测试集上达到78.7%的mAP，较基线DSSD提升1.2%。
• 在PASCAL VOC2012测试集上，模型达到76.6%的mAP，较基线提升1.0%。
• 前景感知的增强策略有效增加了对象外观的多样性，同时保持了语义完整性。
• 基于GAN的生成器能够生成逼真且多样的增强样本，提升了检测器对视觉变化的鲁棒性。
• 该方法在VOC2007和VOC2012上均表现出一致的性能提升，验证了其泛化能力。
• 结果表明，聚焦于对象区域的针对性数据增强比全局图像变换更有效。