[论文解读] InstaBoost: Boosting Instance Segmentation via Probability Map Guided Copy-Pasting

Hao-Shu Fang, Jianhua Sun+4 more|arXiv (Cornell University)|Aug 21, 2019

Advanced Neural Network Applications参考文献 38被引用 26

一句话总结

本文提出InstaBoost，一种用于实例分割的简单而高效的数据增强方法，通过概率图引导的复制粘贴操作提升性能。通过利用外观一致性热图引导真实感的物体放置，并应用随机抖动，该方法在不改变网络结构或增加推理成本的前提下，使Mask R-CNN在COCO上提升2.2 mAP，在Pascal VOC上提升3.9 mAP。

ABSTRACT

Instance segmentation requires a large number of training samples to achieve satisfactory performance and benefits from proper data augmentation. To enlarge the training set and increase the diversity, previous methods have investigated using data annotation from other domain (e.g. bbox, point) in a weakly supervised mechanism. In this paper, we present a simple, efficient and effective method to augment the training set using the existing instance mask annotations. Exploiting the pixel redundancy of the background, we are able to improve the performance of Mask R-CNN for 1.7 mAP on COCO dataset and 3.3 mAP on Pascal VOC dataset by simply introducing random jittering to objects. Furthermore, we propose a location probability map based approach to explore the feasible locations that objects can be placed based on local appearance similarity. With the guidance of such map, we boost the performance of R101-Mask R-CNN on instance segmentation from 35.7 mAP to 37.9 mAP without modifying the backbone or network structure. Our method is simple to implement and does not increase the computational complexity. It can be integrated into the training pipeline of any instance segmentation model without affecting the training and inference efficiency. Our code and models have been released at https://github.com/GothicAi/InstaBoost

研究动机与目标

• 为解决实例分割中标注训练数据有限的挑战，改进数据增强策略。
• 开发一种方法，有效利用现有实例掩码标注生成多样化且逼真的训练样本。
• 在不修改主干网络或网络结构的前提下，减少过拟合并提升模型泛化能力。
• 设计一种轻量化、高效的增强技术，可无缝集成到现有训练流程中。

提出的方法

• 提出随机InstaBoost，将物体在其原始位置附近复制并粘贴，同时在尺度和旋转上施加小范围随机抖动。
• 引入外观一致性热图，基于局部轮廓相似性和背景冗余性来建模可行的物体放置位置。
• 利用热图采样并引导粘贴位置，确保空间和视觉上的合理性。
• 在训练过程中应用该增强方法，而不修改模型架构或增加推理时间。
• 采用四维变换空间（平移、缩放、旋转、长宽比）进行抖动，围绕恒等变换进行均匀采样。
• 通过局部轮廓相似性构建外观一致性热图，以识别与背景视觉一致的物体粘贴区域。

实验结果

研究问题

• RQ1 在不改变网络结构的前提下，对复制的实例施加随机抖动是否能提升实例分割性能？
• RQ2 基于外观一致性的学习概率图是否能提升复制粘贴增强的逼真度和有效性？
• RQ3 与随机粘贴和基于上下文的模型相比，热图引导的InstaBoost在mAP和训练效率方面是否表现更优？
• RQ4 InstaBoost在多大程度上缓解了实例分割模型的过拟合问题？

主要发现

• 在使用Res-101-FPN Mask R-CNN的COCO实例分割任务中，InstaBoost实现2.2 mAP的性能提升，mAP从35.7提升至37.9。
• 在Pascal VOC上，该方法使mAP提升3.9分，达到42.73，相比基线的38.88有显著提升。
• 外观一致性热图引导的方法在VOC和COCO上分别比随机粘贴方法高出1.3和1.1 mAP，证实了空间引导的重要性。
• 该方法减少了过拟合：使用InstaBoost时，检测和分割的mAP在24个epoch后仍持续提升，而基线模型则趋于稳定。
• 该方法保持了推理速度，COCO上的训练时间仅为1.71s/iter，与基线的1.68s/iter相当。
• 消融实验表明，缩放比例比平移比例更为关键，最优取值分别为0.8–1.2和1/15。