[论文解读] Budget-aware Semi-Supervised Semantic and Instance Segmentation

Míriam Bellver, Amaia Salvador+2 more|arXiv (Cornell University)|May 14, 2019

Web Data Mining and Analysis参考文献 33被引用 23

一句话总结

本文提出了一种预算感知的半监督语义与实例分割框架，其在显著更低的标注成本下超越了弱监督方法。通过结合少量强标注与从标注网络生成的伪标注，该方法在 Pascal VOC 上实现了最先进性能，仅需 2.21 天的标注时间即可达到 42.9 AP50，表明更少但高质量的标注比大规模弱标注更具优势。

ABSTRACT

Methods that move towards less supervised scenarios are key for image segmentation, as dense labels demand significant human intervention. Generally, the annotation burden is mitigated by labeling datasets with weaker forms of supervision, e.g. image-level labels or bounding boxes. Another option are semi-supervised settings, that commonly leverage a few strong annotations and a huge number of unlabeled/weakly-labeled data. In this paper, we revisit semi-supervised segmentation schemes and narrow down significantly the annotation budget (in terms of total labeling time of the training set) compared to previous approaches. With a very simple pipeline, we demonstrate that at low annotation budgets, semi-supervised methods outperform by a wide margin weakly-supervised ones for both semantic and instance segmentation. Our approach also outperforms previous semi-supervised works at a much reduced labeling cost. We present results for the Pascal VOC benchmark and unify weakly and semi-supervised approaches by considering the total annotation budget, thus allowing a fairer comparison between methods.

研究动机与目标

• 建立一个统一的语义与实例分割基准，基于总标注成本对方法进行比较，而不考虑监督类型。
• 探究在标注时间受限时，使用少量强标注的半监督学习是否能超越弱监督方法。
• 评估在低预算设置下，将强标注与弱标签（如带目标数量的图像级标签）结合的有效性。
• 首次在 Pascal VOC 上提供无额外数据的半监督实例分割的定量结果。
• 证明通过优先选择高质量强标注而非大规模弱标注集合，可显著降低标注成本并实现更优性能。

提出的方法

• 采用双网络流水线：在强标注上训练的标注网络为未标注或弱标注数据生成伪标注。
• 分割网络在真实强标注与标注网络生成的伪标注的并集中进行训练。
• 通过图像级标签带目标数量（IL+C）和图像特征对标注网络进行微调，以提升伪标注质量。
• 通过整合弱标签（如带数量的图像级标签）到标注流水线中，支持异构监督，并相应调整总标注成本。
• 将标注成本建模为强标注与弱标注样本数量的函数，从而实现在不同监督方案之间的公平比较。
• 在 Pascal VOC 上评估不同预算下的框架，总标注时间基于人工标注工作量计算。

实验结果

研究问题

• RQ1 当总标注成本固定时，使用少量强标注的半监督方法是否优于弱监督方法？
• RQ2 在低预算设置下，整合如带目标数量的图像级标签等弱监督信号是否能提升伪标注质量？
• RQ3 是否存在一个临界点，使得向半监督流水线中添加弱标签比仅依赖强标签更具成本效益？
• RQ4 在最小化标注时间的条件下，半监督实例分割的性能与弱监督方法相比如何？
• RQ5 在固定标注预算下，强标注与弱标注数量之间存在何种最优权衡，可使分割精度最大化？

主要发现

• 在约 0.27 天的预算下，仅使用强标注的 RSIS 方法达到 14.9 AP50；而使用 100 个强标注与 912 个弱标注样本的 W-RSIS 在 0.51 天内达到 25.2 AP50，表明在预算有限时弱标注可提升性能。
• 在 2.21 天的标注时间内，使用 800 个强标注样本的 RSIS 达到 42.9 AP50，显著优于 Zhou 等人 [35] 在相同预算下 26.8 AP50 的结果。
• 在标注成本减半（1.1 天）时，使用 400 个强标注样本的 RSIS 达到 35.5 AP50，超过 Zhou 等人 [35] 在 2.43 天标注时间下 26.8 AP50 的性能。
• 使用 200 个强标注与 2279 个弱标注样本的 W-RSIS 在 1.14 天内达到 30.8 AP50，优于仅使用 200 个强标注与 10382 个未标注样本的 RSIS（0.55 天内达到 23.7 AP50）。
• 所提方法首次在 Pascal VOC 上实现了无额外数据的半监督实例分割定量结果，在低预算条件下达到新的最先进水平。
• 结果表明，在标注时间受限时，更少但质量更高的强标注比大规模弱标注集合更具有效性。