[论文解读] Data Augmentation for Object Detection via Progressive and Selective Instance-Switching

Hao Wang, Qilong Wang+3 more|arXiv (Cornell University)|Jun 2, 2019

Advanced Neural Network Applications参考文献 50被引用 56

一句话总结

本文介绍 instance-switching (IS) 与 Progressive and Selective Instance-Switching (PSIS)，在不依赖外部数据集的情况下为目标检测的训练数据进行增强，在 MS COCO 上对最新检测器的性能有提升。

ABSTRACT

Collection of massive well-annotated samples is effective in improving object detection performance but is extremely laborious and costly. Instead of data collection and annotation, the recently proposed Cut-Paste methods [12, 15] show the potential to augment training dataset by cutting foreground objects and pasting them on proper new backgrounds. However, existing Cut-Paste methods cannot guarantee synthetic images always precisely model visual context, and all of them require external datasets. To handle above issues, this paper proposes a simple yet effective instance-switching (IS) strategy, which generates new training data by switching instances of same class from different images. Our IS naturally preserves contextual coherence in the original images while requiring no external dataset. For guiding our IS to obtain better object performance, we explore issues of instance imbalance and class importance in datasets, which frequently occur and bring adverse effect on detection performance. To this end, we propose a novel Progressive and Selective Instance-Switching (PSIS) method to augment training data for object detection. The proposed PSIS enhances instance balance by combining selective re-sampling with a class-balanced loss, and considers class importance by progressively augmenting training dataset guided by detection performance. The experiments are conducted on the challenging MS COCO benchmark, and results demonstrate our PSIS brings clear improvement over various state-of-the-art detectors (e.g., Faster R-CNN, FPN, Mask R-CNN and SNIPER), showing the superiority and generality of our PSIS. Code and models are available at: https://github.com/Hwang64/PSIS.

研究动机与目标

• 通过提出一种内部数据增强方法来解决目标检测对数据的强需求与高标注成本的问题。
• 通过 instance-switching (IS) 在保持视觉上下文的同时增加样本多样性。
• 通过选择性再采样与类别平衡损失来缓解类别不平衡并考虑类别重要性。
• 逐步增强数据以强调检测性能较低的类别。
• 在 MS COCO 上展示 PSIS 在多种检测器上的有效性。

提出的方法

• 基于形状和尺度相似性，从包含相同类别的两张图像对中定义一组可交换的实例作为候选集。
• 通过缩放和粘贴在两张图像之间交换实例，随后用高斯模糊进行边界平滑以保持上下文。
• 通过选择性再采样来实现类别实例数的平衡，并通过类别平衡损失来防止过拟合（gamma 控制的再加权）。
• 通过在训练过程中识别最低 AP 的类别并以有原则的方式增加其增强样本，引入渐进式增强。
• 用逐步生成的 PSIS 样本不断扩大的增强数据集对检测器进行迭代训练。

实验结果

研究问题

• RQ1 在不依赖外部数据的情况下，instance-switching 能否产生多样且具上下文一致性的合成图像？
• RQ2 通过平衡实例分布并按类别频率加权是否能提升检测器性能？
• RQ3 渐进式增强策略是否能提升最低准确率类别的检测？
• RQ4 PSIS 如何在 MS COCO 上与多种现代检测器（例如 Faster R-CNN、FPN、Mask R-CNN、SNIPER）结合？

主要发现

• IS 在无需外部数据的情况下提高多样性和上下文一致性，超过原始数据集的性能。
• 等采样的 IS (Ω_equ) 相较于仅使用 Ω_ori 在 COCO 验证集上使 Faster R-CNN (ResNet-101) 的 mAP 提升约 1.1%。
• 统一地使用 Ω_uni 与 Ω_ori 以及类别平衡损失 (ℓ_CB) 进行增强使 mAP 提升至 29.0%（基线为 27.3%）。
• 面向低 AP 类别的渐进 IS 与 PSIS 结合时额外带来约 0.7% 的 mAP 增益。
• PSIS 增强的数据在 COCO 上对多种检测器（FPN、Mask R-CNN、SNIPER）有持续的提升，在不同指标上的增益约为 0.6% 至 1.3%。
• 最终的 PSIS 数据集 (Ω_PSIS) 包含大约 283k 张图像，并在各种架构上提供了可衡量的改进，表明其有效性和普适性。