[论文解读] Learning to Generate Synthetic Data via Compositing

Shashank Tripathi, Siddhartha Chandra+4 more|arXiv (Cornell University)|Apr 10, 2019

Anomaly Detection Techniques and Applications参考文献 47被引用 6

一句话总结

本文提出 TERSE，一种任务感知、高效且现实的合成数据生成框架，通过与目标网络和真实图像判别器进行对抗性训练，利用可训练的合成网络生成高质量的训练样本。该方法在仅使用一半训练数据的情况下，将目标检测和分类性能提升最高达3.5% mAP，同时通过在背景区域注入类似混合伪影，减轻了对混合伪影的过拟合问题。

ABSTRACT

We present a task-aware approach to synthetic data generation. Our framework employs a trainable synthesizer network that is optimized to produce meaningful training samples by assessing the strengths and weaknesses of a `target' network. The synthesizer and target networks are trained in an adversarial manner wherein each network is updated with a goal to outdo the other. Additionally, we ensure the synthesizer generates realistic data by pairing it with a discriminator trained on real-world images. Further, to make the target classifier invariant to blending artefacts, we introduce these artefacts to background regions of the training images so the target does not over-fit to them. We demonstrate the efficacy of our approach by applying it to different target networks including a classification network on AffNIST, and two object detection networks (SSD, Faster-RCNN) on different datasets. On the AffNIST benchmark, our approach is able to surpass the baseline results with just half the training examples. On the VOC person detection benchmark, we show improvements of up to 2.7% as a result of our data augmentation. Similarly on the GMU detection benchmark, we report a performance boost of 3.5% in mAP over the baseline method, outperforming the previous state of the art approaches by up to 7.5% on specific categories.

研究动机与目标

• 解决现有合成数据生成方法中效率低下和域差距的问题，这些方法产生的样本价值低或不真实。
• 开发一种任务感知的数据合成方法，生成具有挑战性且有意义的样本，以提升目标网络的性能。
• 通过在真实图像上进行训练以确保生成数据的真实性，最小化分布偏移。
• 通过在合成过程中在背景区域引入类似伪影，使目标网络对混合伪影具有鲁棒性。
• 证明通过该框架生成的合成数据可在减少数据需求的前提下实现最先进性能。

提出的方法

• 采用三网络对抗性框架：合成网络、目标网络和真实图像判别器，通过同步训练提升彼此性能。
• 合成网络将前景物体（经优化仿射变换）与背景图像进行合成，生成可欺骗目标网络和判别器的合成训练样本。
• 目标网络在合成数据上进行训练，以提升其分类或检测准确率，并向合成网络提供反馈。
• 真实图像判别器在真实世界图像上进行训练，以确保合成图像符合自然图像分布，增强真实感。
• 通过粘贴前景形状的剪裁区域，将混合伪影引入背景区域，使目标网络对这些伪影具有不变性。
• 该框架端到端应用于分类任务（AffNIST）、目标检测任务（VOC上的SSD）和实例检测任务（GMU Kitchen上的Faster R-CNN）。

实验结果

研究问题

• RQ1 能否设计一种合成数据生成方法，使其兼具任务感知性和高效性，生成更少但更有效的训练样本？
• RQ2 如何使合成数据生成对混合伪影具有鲁棒性，从而避免目标模型因这些伪影而过拟合？
• RQ3 合成网络、目标网络与判别器之间的对抗性训练在多大程度上能提升模型的泛化能力和性能？
• RQ4 通过合成方法生成的合成数据是否能在目标检测和分类任务中超越基线数据增强和最先进方法？
• RQ5 引入真实图像判别器是否能显著提升合成数据的真实感和泛化能力？

主要发现

• 在 AffNIST 基准上，所提方法仅使用 50% 的训练数据，性能即优于基线。
• 在 VOC 人物检测基准上，该方法在 IoU 阈值为 0.8 时，mAP 提升最高达 2.7%，优于基线和先前工作。
• 在 GMU Kitchen 数据集上，该方法使 mAP 相较于基线 Faster R-CNN 提升 3.5%，相较先前最先进方法提升 1%。
• 对于特定类别如 'palmolive-orange'，与先前方法相比，准确率最高提升 7.5%。
• 引入真实图像判别器后，模型在更高 IoU 阈值（如 0.8）下的性能提升，表明边界框定位更准确。
• 消融实验表明，每个组件——背景伪影、判别器和 Dropout——均逐步提升性能，其中判别器显著改善了与真实框的对齐。