[论文解读] BoxTeacher: Exploring High-Quality Pseudo Labels for Weakly Supervised Instance Segmentation

Tianheng Cheng, Xinggang Wang+3 more|arXiv (Cornell University)|Oct 11, 2022

Advanced Neural Network Applications被引用 4

一句话总结

BoxTeacher 提出了一种端到端的自训练框架，用于弱监督实例分割，该框架利用来自框监督模型的高质量伪分割掩码。通过引入一种掩码感知置信度分数和噪声感知损失，它选择性地使用可靠的伪掩码来提升学生模型的性能，在 COCO 上使用 ResNet-50 达到 35.0 的掩码 AP，使用 ResNet-101 达到 36.5，显著优于先前的方法，并缩小了与全监督方法之间的差距。

ABSTRACT

Labeling objects with pixel-wise segmentation requires a huge amount of human labor compared to bounding boxes. Most existing methods for weakly supervised instance segmentation focus on designing heuristic losses with priors from bounding boxes. While, we find that box-supervised methods can produce some fine segmentation masks and we wonder whether the detectors could learn from these fine masks while ignoring low-quality masks. To answer this question, we present BoxTeacher, an efficient and end-to-end training framework for high-performance weakly supervised instance segmentation, which leverages a sophisticated teacher to generate high-quality masks as pseudo labels. Considering the massive noisy masks hurt the training, we present a mask-aware confidence score to estimate the quality of pseudo masks and propose the noise-aware pixel loss and noise-reduced affinity loss to adaptively optimize the student with pseudo masks. Extensive experiments can demonstrate the effectiveness of the proposed BoxTeacher. Without bells and whistles, BoxTeacher remarkably achieves 35.0 mask AP and 36.5 mask AP with ResNet-50 and ResNet-101 respectively on the challenging COCO dataset, which outperforms the previous state-of-the-art methods by a significant margin and bridges the gap between box-supervised and mask-supervised methods. The code and models will be available at https://github.com/hustvl/BoxTeacher.

研究动机与目标

• 探究是否可以有效利用来自框监督模型的高质量伪分割掩码来提升弱监督实例分割性能。
• 解决朴素自训练方法因伪掩码噪声和泛化能力差而受限的问题。
• 开发一种稳健的端到端训练框架，通过教师与学生模型之间的相互优化来提升模型性能。
• 通过一种新型的掩码感知置信度分数和噪声感知损失函数，降低低质量伪掩码的影响。

提出的方法

• 教师网络使用基于框的伪掩码分配策略，生成高质量的伪实例掩码并将其分配给真实框。
• 引入一种掩码感知置信度分数，用于估计每个伪掩码的质量，从而过滤掉低质量预测。
• 学生网络使用真实框和伪掩码进行训练，损失函数包括噪声感知像素损失和噪声减少的亲和力损失。
• 采用指数移动平均（EMA）方法，根据学生网络权重的演化过程逐步更新教师网络。
• 对学生输入图像应用强数据增强，以提升特征一致性与模型鲁棒性。
• 该框架为端到端设计，且与底层实例分割架构无关，具备广泛的适用性。

实验结果

研究问题

• RQ1 能否有效利用从框监督模型生成的高质量伪分割掩码来提升弱监督实例分割性能？
• RQ2 尽管存在高质量掩码，为何朴素的自训练方法在使用伪掩码时仍无法取得显著性能提升？
• RQ3 在弱监督实例分割的自训练过程中，如何最小化噪声伪掩码的影响？
• RQ4 结合置信度评分与噪声感知损失的协同教师-学生框架，是否能超越标准自训练方法的性能？
• RQ5 通过数据增强实现的一致性正则化，在学习噪声伪标签方面起到了多大作用？

主要发现

• BoxTeacher 在 COCO 上使用 ResNet-50 达到 35.0 的掩码 AP，使用 ResNet-101 达到 36.5，显著优于之前最先进方法。
• 所提出的掩码感知置信度分数在性能上优于其他质量估计方法，包括 IoU、平均熵以及基于 IoU 的置信度。
• 使用伪掩码的朴素自训练性能甚至劣于仅使用框标注的训练，凸显了噪声感知训练策略的必要性。
• 与标准训练相比，BoxTeacher 在强数据增强下表现更鲁棒，尤其在较长训练周期下优势明显。
• 强增强的使用使弱监督性能提升 +0.6 AP，但对全监督检测性能影响甚微，表明其在处理噪声伪标签中的关键作用。
• 指数移动平均（EMA）对性能影响甚微，证实 BoxTeacher 的性能提升主要源于伪标签机制，而非模型平均。