[论文解读] Co-mining: Self-Supervised Learning for Sparsely Annotated Object Detection

Tiancai Wang, Tong Yang+2 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Neural Network Applications参考文献 53被引用 6

一句话总结

该论文提出 Co-mining，一种用于稀疏标注目标检测的自监督学习框架，通过孪生网络为未标注实例生成伪标签，将其作为正样本监督信号以提升模型性能。在 MS COCO 的稀疏标注设置下，该方法相比基线模型实现 1.4–2.1% 的 AP 提升，优于现有方法。

ABSTRACT

Object detectors usually achieve promising results with the supervision of complete instance annotations. However, their performance is far from satisfactory with sparse instance annotations. Most existing methods for sparsely annotated object detection either re-weight the loss of hard negative samples or convert the unlabeled instances into ignored regions to reduce the interference of false negatives. We argue that these strategies are insufficient since they can at most alleviate the negative effect caused by missing annotations. In this paper, we propose a simple but effective mechanism, called Co-mining, for sparsely annotated object detection. In our Co-mining, two branches of a Siamese network predict the pseudo-label sets for each other. To enhance multi-view learning and better mine unlabeled instances, the original image and corresponding augmented image are used as the inputs of two branches of the Siamese network, respectively. Co-mining can serve as a general training mechanism applied to most of modern object detectors. Experiments are performed on MS COCO dataset with three different sparsely annotated settings using two typical frameworks: anchor-based detector RetinaNet and anchor-free detector FCOS. Experimental results show that our Co-mining with RetinaNet achieves 1.4%~2.1% improvements compared with different baselines and surpasses existing methods under the same sparsely annotated setting. Code is available at https://github.com/megvii-research/Co-mining.

研究动机与目标

• 为解决在大规模数据集中仅部分实例被标注时目标检测性能下降的问题，这是该类数据集中的常见挑战。
• 克服现有方法仅通过重加权或忽略难负样本的局限性，这些方法未能有效利用未标注实例中的有用信息。
• 开发一种可泛化的训练机制，适用于基于锚点和无锚点的检测器。
• 通过自监督从未标注实例中挖掘正样本监督信号，以提升检测性能。

提出的方法

• 采用孪生网络架构，其中两个分支共享权重，分别处理原始图像和其增强版本。
• 协同生成模块利用另一分支的预测结果，为每个图像分支生成伪标签集合，实现相互监督。
• 通过分数阈值 τ 对伪标签进行过滤，以在误报和漏报之间取得平衡。
• 对其中一个分支应用数据增强（如颜色抖动），以促进多样化且鲁棒的伪标签生成。
• 将伪标签与稀疏的真实标注合并，在训练过程中形成联合监督信号。
• 该方法兼容基于锚点的检测器（如 RetinaNet）和无锚点检测器（如 FCOS）

实验结果

研究问题

• RQ1 在稀疏标注数据集中，未标注实例能否被有效利用为正样本监督信号？
• RQ2 通过孪生网络进行协同生成的伪标签是否能超越损失重加权或忽略策略，进一步提升检测性能？
• RQ3 所提出的 Co-mining 机制能否在不同检测器架构（包括无锚点和基于锚点的模型）上实现泛化？
• RQ4 分数阈值和数据增强的选择如何影响伪标签的质量及其影响？

主要发现

• 在 COCO-50miss 数据集上，Co-mining 与 RetinaNet 结合达到 33.9 AP，优于之前最先进方法 BRL 的 1.2%，也优于部分感知采样方法 5.5%。
• 在同一基准上，与 BRL 相比，Co-mining 将 $AP_{50}$ 提升 2.2%，表明其在分类泛化能力上更优。
• 在 FCOS 上，Co-mining 在所有 COCO-2017 稀疏标注设置下均实现稳定性能提升，证明其在无锚点检测器上的泛化能力。
• 分数阈值为 0.6 时性能最优；过低阈值（如 0.4）会导致因伪标签噪声引发损失爆炸，过高阈值（如 0.8）则会遗漏有用实例。
• 颜色增强优于模糊增强和无增强，表明外观变化有助于提升伪标签的多样性与质量。
• 伪标签生成存在失败案例，包括误分类和定位错误，但其影响有限，因真实正样本伪标签占主导地位。