[论文解读] Modeling Visual Context is Key to Augmenting Object Detection Datasets

Nikita Dvornik, Julien Mairal+1 more|arXiv (Cornell University)|Jul 19, 2018

Advanced Image and Video Retrieval Techniques参考文献 34被引用 13

一句话总结

该论文提出了一种用于目标检测的数据增强方法，利用分割标注和学习到的视觉上下文模型，将物体真实地放置在场景中，显著提升了平均平均精度（mAP），尤其是在标注数据有限的情况下。通过基于CNN的上下文模型建模上下文关系，该方法优于随机放置和标准增强方法，在仅使用25%训练数据的情况下，VOC’12数据集上实现了高达6%的相对性能提升。

ABSTRACT

Performing data augmentation for learning deep neural networks is well known to be important for training visual recognition systems. By artificially increasing the number of training examples, it helps reducing overfitting and improves generalization. For object detection, classical approaches for data augmentation consist of generating images obtained by basic geometrical transformations and color changes of original training images. In this work, we go one step further and leverage segmentation annotations to increase the number of object instances present on training data. For this approach to be successful, we show that modeling appropriately the visual context surrounding objects is crucial to place them in the right environment. Otherwise, we show that the previous strategy actually hurts. With our context model, we achieve significant mean average precision improvements when few labeled examples are available on the VOC'12 benchmark.

研究动机与目标

• 解决在训练数据稀缺时目标检测中过拟合的挑战。
• 在基本的几何和颜色变换之外，改进目标检测的数据增强方法。
• 探究在数据增强过程中显式建模视觉上下文是否能提升检测性能。
• 开发一种利用分割标注和学习到的上下文模型，将物体实例以真实场景上下文方式放置的方法。

提出的方法

• 训练一个卷积神经网络（CNN），基于场景上下文预测合理的物体放置位置，输入为分割掩码。
• 从标注图像中提取物体实例，并利用上下文模型的预测结果将其粘贴到新场景中，以确保空间和语义的一致性。
• 该方法采用两阶段混合策略：首先，使用上下文感知的放置方式对物体裁剪区域进行缩放和重新定位；其次，通过重新混合技术减少混合伪影。
• 上下文模型在VOC’12分割数据上端到端训练，以学习物体与其周围环境之间的空间和语义关系。
• 通过系统性地减少标注训练样本数量，评估该方法在低数据设置下的表现。
• 消融研究对比了随机放置、上下文引导放置以及移除上下文建模的效果，以隔离其贡献。

实验结果

研究问题

• RQ1 在数据增强过程中建模视觉上下文是否相比随机放置能带来更好的泛化性能？
• RQ2 当仅有少量标注样本可用时，上下文感知的数据增强对性能有何影响？
• RQ3 学习到的上下文模型是否能有效预测真实感的物体放置，从而提升检测mAP？
• RQ4 混合伪影和图像放大对增强质量及模型性能有何影响？
• RQ5 在数据稀缺设置下，与标准数据增强和随机放置相比，所提方法在mAP提升方面表现如何？

主要发现

• 上下文感知的数据增强方法在VOC’12上实现了57.5%的平均平均精度（mAP），显著优于基线模型（48.7%）和随机放置（48.3%）。
• 仅使用25%的训练数据时，上下文引导方法达到了38.3%的mAP，而基线模型仅为32.5%，表现出5.8个百分点的提升。
• 当移除上下文模型后，mAP下降至33.9%，表明上下文建模对于性能提升至关重要。
• 该方法减少了过拟合并提升了泛化能力，尤其在低数据场景下，性能提升最为显著。
• 当分割掩码包含伪影，或上下文模型错误预测物体类别时，观察到失败案例，导致物体放置不自然。
• 基于放大的增强方法产生的伪影在视觉上较为明显，尤其是在放大区域，凸显了该基线技术的局限性。