[论文解读] Soft Sampling for Robust Object Detection

Zhe Wu, Navaneeth Bodla+4 more|arXiv (Cornell University)|Jun 18, 2018

Advanced Neural Network Applications参考文献 25被引用 47

一句话总结

论文研究在缺失标注下对象检测器的鲁棒性，并提出基于重叠的软采样（OSS）以重新加权 RoI 梯度，在 PASCAL VOC 和 Open Images V3/V4 上标注不完整时提升性能。

ABSTRACT

We study the robustness of object detection under the presence of missing annotations. In this setting, the unlabeled object instances will be treated as background, which will generate an incorrect training signal for the detector. Interestingly, we observe that after dropping 30% of the annotations (and labeling them as background), the performance of CNN-based object detectors like Faster-RCNN only drops by 5% on the PASCAL VOC dataset. We provide a detailed explanation for this result. To further bridge the performance gap, we propose a simple yet effective solution, called Soft Sampling. Soft Sampling re-weights the gradients of RoIs as a function of overlap with positive instances. This ensures that the uncertain background regions are given a smaller weight compared to the hardnegatives. Extensive experiments on curated PASCAL VOC datasets demonstrate the effectiveness of the proposed Soft Sampling method at different annotation drop rates. Finally, we show that on OpenImagesV3, which is a real-world dataset with missing annotations, Soft Sampling outperforms standard detection baselines by over 3%.

研究动机与目标

• 说明缺失标注对现代检测器的影响并量化
• 证明基于 CNN 的检测器对部分监督其实相对鲁棒
• 提出一个简单的梯度加权技术以在标注不完整时弥合性能差距
• 在精心挑选的 PASCAL VOC 与大规模 Open Images 数据集上证明该方法的有效性

提出的方法

• 提出一种基于重叠的软采样（OSS）方案，该方案使用 Gompertz 曲线将 RoI 梯度权重按与正实例的重叠程度衰减
• 认为保持一个较大的负样本池有益，软加权能够为所有提案保留训练信号
• 可选地探索基于检测分数的软采样作为另一种再加权方法
• 在不同标注丢失率下评估 OSS，并与基线以及忽略被丢弃框及其对应提案的上限进行比较
• 证明 OSS 可以在现有检测器中直接使用而无需重新训练循环

实验结果

研究问题

• RQ1 缺失标注如何影响训练信号与检测器性能？
• RQ2 是否可以通过简单的 RoI 梯度再加权来缓解训练中未标注对象的影响？
• RQ3 在部分标注的基准上，基于重叠的软采样与硬负样本挖掘和标准基线相比如何？
• RQ4 提出的方法是否能推广到大规模真实世界数据集（Open Images）中的不完整标注？

主要发现

• 在 PASCAL VOC 上缺失标注训练的检测器仅表现出适度的性能损失（例如 30% 丢失标签时 IoU 0.5 下的 mAP 从 81.28 降至 76.75）。
• 基于重叠的软采样（OSS）在 30% 丢失时将 mAP 提升至 78.24，接近上限 79.26（相对基线提升 1.5%）。
• 随着标注丢失率的增加，OSS 始终缩小差距，在较高丢失率下恢复约 4% 的差距，在所有测试情形中保持在接近上限的 ~1% 范围内。
• 在 Open Images V3 子集（Open50）上，OSS 在 0.5 IoU 下达到 45.92% mAP，优于基线（42.57%）超过 3%。
• OSS 在若干情境下优于硬负样本挖掘，表明保持更大负样本池再加软加权能提供更好的训练信号。