[论文解读] All you need are a few pixels: semantic segmentation with PixelPick

Gyungin Shin, Weidi Xie+1 more|arXiv (Cornell University)|Apr 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 71被引用 5

一句话总结

本文提出 PixelPick，一种用于语义分割的新型主动学习框架，仅需少量稀疏像素标注即可实现最先进性能。通过利用模型预测的像素提议和无鼠标标注界面，该方法在 CamVid、Cityscapes 和 Pascal VOC 2012 基准测试中将标注成本降低两个数量级，同时保持高精度。

ABSTRACT

A central challenge for the task of semantic segmentation is the prohibitive cost of obtaining dense pixel-level annotations to supervise model training. In this work, we show that in order to achieve a good level of segmentation performance, all you need are a few well-chosen pixel labels. We make the following contributions: (i) We investigate the novel semantic segmentation setting in which labels are supplied only at sparse pixel locations, and show that deep neural networks can use a handful of such labels to good effect; (ii) We demonstrate how to exploit this phenomena within an active learning framework, termed PixelPick, to radically reduce labelling cost, and propose an efficient "mouse-free" annotation strategy to implement our approach; (iii) We conduct extensive experiments to study the influence of annotation diversity under a fixed budget, model pretraining, model capacity and the sampling mechanism for picking pixels in this low annotation regime; (iv) We provide comparisons to the existing state of the art in semantic segmentation with active learning, and demonstrate comparable performance with up to two orders of magnitude fewer pixel annotations on the CamVid, Cityscapes and PASCAL VOC 2012 benchmarks; (v) Finally, we evaluate the efficiency of our annotation pipeline and its sensitivity to annotator error to demonstrate its practicality.

研究动机与目标

• 通过探索仅需极少人工输入的稀疏标注，解决语义分割中密集像素级标注的高成本问题。
• 开发一种实用且高效的标注流程，通过将任务从定位转换为分类，最大限度减少鼠标使用。
• 在低标注预算条件下，评估标注多样性、模型容量和采样策略的影响。
• 证明深度神经网络仅需少数精心选择的像素标签即可实现强大的分割性能。
• 在存在潜在标注者错误的实际部署场景中，验证所提框架的鲁棒性与效率。

提出的方法

• 提出一种主动学习框架，模型根据不确定性采样（如边界采样）迭代选择最具信息量的像素位置进行标注。
• 使用模型预测的像素坐标作为查询提议，消除标注者使用鼠标进行空间定位的需求。
• 采用无鼠标标注界面，标注者仅需通过单次按键对预提出的像素进行分类。
• 在稀疏标签上训练分割模型（如 FPN + ResNet50），并在每轮迭代中重新查询最不确定的像素。
• 应用兼顾多样性的采样策略，确保不同物体类别和空间区域均得到充分覆盖。
• 集成一种鲁棒的训练协议，考虑标注过程中可能出现的标签噪声，模拟真实世界中的错误。

实验结果

研究问题

• RQ1 实现具有竞争力的语义分割性能，最少需要多少像素标注？
• RQ2 在固定标注预算下，何种采样策略（如不确定性、多样性）能取得最佳性能？
• RQ3 无鼠标标注界面是否能显著减少标注时间而不牺牲精度？
• RQ4 模型容量和预训练对低标注量场景下的性能有何影响？
• RQ5 该框架在实际应用中对人类标注错误的敏感度如何？

主要发现

• PixelPick 在 CamVid、Cityscapes 和 Pascal VOC 2012 上实现的 mIoU 性能与最先进方法相当，但使用的像素标注数量最多减少 100 倍。
• 在 VOC12 验证集上，使用 ResNet50 主干网络的 PixelPick 仅用 1.5K 个精细标注（每张图像约 10 个像素）即达到 68.0% 的 mIoU，优于多个使用更大标注预算的弱监督方法。
• 无鼠标标注界面使每张图像标注 10 个像素的时间少于 10 秒，平均准确率与真实标签相比达 90%。
• 该框架对标注噪声具有鲁棒性：人为引入 10% 的标签抖动后，性能下降可忽略不计。
• 在低标注量场景下，边界采样（Margin Sampling）始终优于随机采样及其他获取函数。
• 更深的模型（如 ResNet50）在低标注预算下通常比浅层模型泛化能力更强，表明在数据稀缺时模型容量具有显著优势。