[论文解读] C-WSL: Count-guided Weakly Supervised Localization

Mingfei Gao, Ang Li+3 more|arXiv (Cornell University)|Nov 14, 2017

Domain Adaptation and Few-Shot Learning参考文献 31被引用 9

一句话总结

C-WSL 引入了基于计数的弱监督定位方法，利用每类物体的数量作为轻量级监督形式，以提升弱监督目标检测中的定位精度。通过采用一种简单的基于计数的区域选择（CRS）算法，C-WSL 能够识别出高质量的单实例物体提议，显著减少多物体框带来的误报，并在 VOC2007 和 VOC2012 数据集上将 mAP 提升至最先进方法的 2.1 个百分点以内。

ABSTRACT

We introduce count-guided weakly supervised localization (C-WSL), an approach that uses per-class object count as a new form of supervision to improve weakly supervised localization (WSL). C-WSL uses a simple count-based region selection algorithm to select high-quality regions, each of which covers a single object instance during training, and improves existing WSL methods by training with the selected regions. To demonstrate the effectiveness of C-WSL, we integrate it into two WSL architectures and conduct extensive experiments on VOC2007 and VOC2012. Experimental results show that C-WSL leads to large improvements in WSL and that the proposed approach significantly outperforms the state-of-the-art methods. The results of annotation experiments on VOC2007 suggest that a modest extra time is needed to obtain per-class object counts compared to labeling only object categories in an image. Furthermore, we reduce the annotation time by more than $2 imes$ and $38 imes$ compared to center-click and bounding-box annotations.

研究动机与目标

• 解决弱监督定位中常见的失败模式，即检测器将多个物体合并到一个边界框中。
• 通过利用每类物体的数量（一种比边界框或中心点击标注更便宜的替代方案）来降低标注成本。
• 通过基于计数监督选择高质量的单实例物体提议，提升检测性能。
• 证明计数监督在迭代式 WSL 框架（如 ADR 和 ODR）中能显著增强检测器的优化效果。

提出的方法

• 提出一种基于计数的区域选择（CRS）算法，该算法选择每类恰好覆盖一个实例的物体提议，由每类物体数量引导。
• 将 CRS 集成到两种现有的 WSL 框架中：交替检测器优化（ADR）和在线检测器优化（ODR），以实现迭代式检测器性能提升。
• 使用图像级别的物体数量作为弱监督信号，约束区域选择过程，确保所选提议紧凑且针对单一实例。
• 使用所选的高质量区域作为伪真实标注来训练检测器，从而在无需实例级标注的情况下提升定位精度。
• 利用人类对少量物体（1–4 个）的快速计数能力（即“子计数效应”），证明计数标注的成本极低。
• 在 ADR 和 ODR 中应用迭代优化，通过计数引导的区域选择逐步提升检测性能。

实验结果

研究问题

• RQ1 每类物体的数量能否作为一种有效且低成本的监督形式，以改善弱监督目标定位？
• RQ2 基于计数的区域选择是否能减少将多个物体合并到一个边界框中的常见失败模式？
• RQ3 与最先进 WSL 方法相比，整合计数监督对 mAP 和定位质量的影响如何？
• RQ4 与中心点击和边界框标注相比，每类物体数量的标注成本是多少？
• RQ5 在迭代式 WSL 训练中，计数监督在多大程度上能加速收敛并提升性能？

主要发现

• C-WSL 将 VOC2007 上的 WSLPDA 的 mAP 从 17.9% 提升至 19.6%，实现了 1.7 个百分点的提升。
• C-WSL:OICR+ADR 将 OICR 的 mAP 从 18.7% 提升至 20.1%，提升了 1.4 个百分点。
• C-WSL:ODR+FRCNN 在 VOC2007 上将 mAP 从 19.0% 提升至 20.0%，表明在不同网络架构下均保持一致的性能增益。
• 在 WSLPDA 中引入计数监督使 mAP 提升 3.0 个百分点，在 OICR 中提升 1.5 个百分点，显示出其显著贡献。
• 标注实验表明，每类物体数量的标注仅比类别标注多花费少量时间，且相比中心点击标注减少超过 2 倍，相比边界框标注减少 38 倍。
• 在“person”类别上（该类别在 WSL 中长期难以处理），结合基于大小的预过滤步骤与 C-WSL 后，AP 从 20.3% 提升至 40.0%，表明在引入额外约束后仍有进一步提升的潜力。