[论文解读] Block Annotation: Better Image Annotation for Semantic Segmentation with Sub-Image Decomposition

Hubert Lin, Paul Upchurch+1 more|arXiv (Cornell University)|Feb 16, 2020

Advanced Neural Network Applications参考文献 63被引用 4

一句话总结

本文提出块标注——将图像子区域而非整张图像进行众包标注——用于语义分割，仅标注50%的像素即可达到与全图标注相当的性能，且在仅12%标注量时可实现高达98%的全性能。该方法引入一种高质量图像修复技术，无需额外人工干预即可恢复完整的图像标签，从而实现低成本、可扩展且高精度的密集分割。

ABSTRACT

Image datasets with high-quality pixel-level annotations are valuable for semantic segmentation: labelling every pixel in an image ensures that rare classes and small objects are annotated. However, full-image annotations are expensive, with experts spending up to 90 minutes per image. We propose block sub-image annotation as a replacement for full-image annotation. Despite the attention cost of frequent task switching, we find that block annotations can be crowdsourced at higher quality compared to full-image annotation with equal monetary cost using existing annotation tools developed for full-image annotation. Surprisingly, we find that 50% pixels annotated with blocks allows semantic segmentation to achieve equivalent performance to 100% pixels annotated. Furthermore, as little as 12% of pixels annotated allows performance as high as 98% of the performance with dense annotation. In weakly-supervised settings, block annotation outperforms existing methods by 3-4% (absolute) given equivalent annotation time. To recover the necessary global structure for applications such as characterizing spatial context and affordance relationships, we propose an effective method to inpaint block-annotated images with high-quality labels without additional human effort. As such, fewer annotations can also be used for these applications compared to full-image annotation.

研究动机与目标

• 降低语义分割任务中高质量像素级标注的成本与时间。
• 探究稀疏的、分块标注是否可实现与密集全图标注相当的性能。
• 开发一种有效方法，从块标注图像中无需额外人工标注即可修复出完整、高质量的分割图。
• 在弱监督设置下评估块标注方法，并与现有方法在相同标注时间下进行比较。
• 探究最优的块模式与选择策略，以最大化图像修复质量与标注效率。

提出的方法

• 该方法使用小尺寸、非重叠的子图像块（例如10×10像素）作为标注单位，替代全图像素级标注。
• 众包工作者使用现有的多边形或边界标注工具对这些子图像块进行标注，实现可扩展、低成本的数据采集。
• 基于深度学习的图像修复模型从稀疏块标注中预测完整图像的分割掩码，利用空间上下文与边界线索。
• 该图像修复模型在多种块模式下进行训练并具备泛化能力，同时在不同标注稀疏度与块配置下进行评估。
• 测试了不同的块选择策略——随机、棋盘状、仅边界——以确定对图像修复性能最有利的提示模式。
• 该方法利用不确定性估计过滤低置信度预测，提升标签可靠性。

实验结果

研究问题

• RQ1 块标注是否能在远低于全图标注成本的情况下，实现与全图标注相当的语义分割性能？
• RQ2 随着标注密度增加（例如12%、50%、100%），块标注模型的性能如何变化？
• RQ3 深度学习模型能否在无需额外人工标注的前提下，有效从稀疏块标注中修复出完整的图像分割掩码？
• RQ4 不同块选择模式（如棋盘状、随机、仅边界）对修复后分割掩码的质量有何影响？
• RQ5 在性能与标注时间效率方面，块标注相较于现有弱监督方法表现如何？

主要发现

• 块标注仅需标注50%的像素，即可实现与全图标注相当的语义分割性能。
• 仅通过12%的像素进行块标注，模型性能即可达到全图标注的98%。
• 在弱监督设置下，块标注在相同标注时间下相比现有方法绝对mIOU提升3-4%。
• 在Cityscapes数据集上，块标注50%的输入，块图像修复模型达到92% mIOU，而自动分割方法仅为78%。
• 棋盘状块模式在图像修复中优于随机块模式，其相对mIOU达到理想‘每隔一个像素’模式的95%。
• 仅标注距离块边界10像素以内的像素，即可获得与完整块标注几乎相同的性能，表明边界像素对图像修复最具信息量。