[论文解读] From colouring-in to pointillism: revisiting semantic segmentation supervision

Rodrigo Benenson, Vittorio Ferrari|arXiv (Cornell University)|Oct 25, 2022

COVID-19 diagnosis using AI被引用 9

一句话总结

本文提出了一种用于语义分割的点绘式标注范式，其中人工标注者通过回答关于点级类别存在的简单是/否问题，而非密集的像素标注来完成任务。该方法实现了对140万张图像中4,171个类别的可扩展、快速且可靠的标注，最终在Open Images V7中发布了2260万条点标注，证明了无需密集标注即可训练高质量的分割模型。

ABSTRACT

The prevailing paradigm for producing semantic segmentation training data relies on densely labelling each pixel of each image in the training set, akin to colouring-in books. This approach becomes a bottleneck when scaling up in the number of images, classes, and annotators. Here we propose instead a pointillist approach for semantic segmentation annotation, where only point-wise yes/no questions are answered. We explore design alternatives for such an active learning approach, measure the speed and consistency of human annotators on this task, show that this strategy enables training good segmentation models, and that it is suitable for evaluating models at test time. As concrete proof of the scalability of our method, we collected and released 22.6M point labels over 4,171 classes on the Open Images dataset. Our results enable to rethink the semantic segmentation pipeline of annotation, training, and evaluation from a pointillism point of view.

研究动机与目标

• 解决语义分割中密集像素级标注的可扩展性瓶颈。
• 通过用简单的点级是/否问题替代涂色操作，减少标注时间和认知负荷。
• 通过最少的培训和高度的并行化，实现在数千个类别上的大规模标注。
• 证明稀疏点标注可以有效用于训练和评估分割模型。

提出的方法

• 使用机器模型选择高不确定性的点，并向人工标注者提出关于这些点上类别存在的是/否问题。
• 采用主动学习策略，迭代地优化标注，重点关注模糊或不确定的区域。
• 对每个点聚合多个标注者的响应以提高可靠性，未解决的案例则标记为待复查。
• 利用现有的图像级标签，并将点标注整合到统一的数据处理管道中，用于训练和评估。
• 应用齐普夫定律来建模类别分布，其中稀有类别获得的标注较少。
• 将点标注转换并合并到Open Images V7中，支持140万张图像中的5,827个类别。

实验结果

研究问题

• RQ1 点绘式标注策略是否能显著减少标注时间，同时保持标签质量？
• RQ2 仅使用稀疏点级标注是否可行训练出有效的语义分割模型？
• RQ3 当回答简单的是/否问题与密集标注时，人工标注者的性能有何差异？
• RQ4 基于点的标注是否能够在测试时支持可靠的模型评估？
• RQ5 所提出的方法是否能有效扩展到数千个类别和大规模数据集？

主要发现

• 标注者平均每个响应用时1.1秒，表现出极高的速度和效率。
• 对于有三个响应的点，人工标注者对是/否答案的一致性达到98%，证实了标签的一致性。
• 数据集包含跨4,171个类别的2260万条点标注，其中420万条为是，1610万条为否。
• 3,189个类别至少有一个正样本（是），2,664个类别有三个或以上正样本，显示出广泛的类别覆盖范围。
• 每个类别获得的“是”答案数量分布符合齐普夫定律，少数类别获得大量标注，而大多数类别仅获得少量标注。
• 使用点标注在235个类别上训练的分割模型生成了合理的结果，验证了该方法作为密集标注的可行替代方案。