[论文解读] COCO-Stuff: Thing and Stuff Classes in Context

Holger Caesar, Jasper Uijlings+1 more|arXiv (Cornell University)|Dec 12, 2016

Advanced Image and Video Retrieval Techniques参考文献 66被引用 38

一句话总结

本文提出了 COCO-Stuff，一个大规模数据集，通过基于超像素的标注协议并复用现有的物体标注，将 COCO 2017 扩展为包含 91 种 'stuff' 类别的密集像素级标注（例如：草地、天空、墙壁）。其主要贡献在于表明，与以往假设相反，'stuff' 并不比 'things' 更容易分割；并且更大的训练数据显著提升了两类在语义分割上的性能，COCO-Stuff 使得对 'stuff-thing' 上下文关系的更丰富分析成为可能。

ABSTRACT

Semantic classes can be either things (objects with a well-defined shape, e.g. car, person) or stuff (amorphous background regions, e.g. grass, sky). While lots of classification and detection works focus on thing classes, less attention has been given to stuff classes. Nonetheless, stuff classes are important as they allow to explain important aspects of an image, including (1) scene type; (2) which thing classes are likely to be present and their location (through contextual reasoning); (3) physical attributes, material types and geometric properties of the scene. To understand stuff and things in context we introduce COCO-Stuff, which augments all 164K images of the COCO 2017 dataset with pixel-wise annotations for 91 stuff classes. We introduce an efficient stuff annotation protocol based on superpixels, which leverages the original thing annotations. We quantify the speed versus quality trade-off of our protocol and explore the relation between annotation time and boundary complexity. Furthermore, we use COCO-Stuff to analyze: (a) the importance of stuff and thing classes in terms of their surface cover and how frequently they are mentioned in image captions; (b) the spatial relations between stuff and things, highlighting the rich contextual relations that make our dataset unique; (c) the performance of a modern semantic segmentation method on stuff and thing classes, and whether stuff is easier to segment than things.

研究动机与目标

• 为解决研究焦点失衡的问题，即对 'things' 类别（如汽车、人）的关注远超 'stuff' 类别（如草地、天空），尽管后者在场景理解中起着关键作用。
• 开发一种高效、可扩展的标注协议，利用超像素和现有物体标注实现密集的 'stuff' 分割。
• 分析 'stuff' 在图像上下文中的作用，包括表面覆盖度、标题中提及频率、空间关系以及分割难度。
• 基于大规模、多样化的数据集，建立 'stuff' 和 'thing' 类别的语义分割基准。

提出的方法

• 使用基于超像素的协议，对 164,000 张 COCO 2017 图像中的 91 种 'stuff' 类别进行标注，复用现有的实例级 'thing' 标注以提高标注效率和一致性。
• 利用超像素降低标注复杂度，同时保持高质量的像素级分割，实现速度与精度的平衡。
• 量化标注时间与边界复杂度之间的权衡，表明该协议在边界复杂度增加时仍具有良好的可扩展性。
• 在 COCO-Stuff 上使用 DeepLab V2 与 VGG-16 进行训练和评估，比较 'stuff' 和 'thing' 类别的分割性能。
• 利用人工编写的图像标题分析 'stuff' 和 'thing' 在标题中被提及的频率，建立语言描述与视觉语义之间的联系。
• 在不同规模的训练集（1K 到 118K 张图像）上评估模型性能，以分析数据规模对分割准确率的影响。

实验结果

研究问题

• RQ1 在图像标题中，'stuff' 和 'thing' 类别的表面覆盖度与提及频率如何比较，这对场景理解有何启示？
• RQ2 'stuff' 与 'things' 之间存在哪些类型的空间和上下文关系，其与 'thing-to-thing' 相互作用有何不同？
• RQ3 'stuff' 是否通常比 'things' 更容易分割，还是这种观点源于具有粗糙、频繁 'stuff' 类别的数据集所引入的偏见？
• RQ4 模型在语义分割上的性能如何随训练集规模变化，COCO-Stuff 是否能实现比小规模数据集更好的泛化能力？
• RQ5 现有语义分割模型在细粒度 'stuff' 类别上的表现，与在定义清晰的 'things' 上相比，其困难程度如何？

主要发现

• 'stuff' 类别平均覆盖超过 50% 的图像表面，且超过三分之一的人工图像标题中的名词指代 'stuff'，凸显其在视觉描述中的核心作用。
• COCO-Stuff 数据集包含 91 种多样的 'stuff' 类别，其像素频率分布与 80 个 'thing' 类别的分布相似，确保了类别表示的平衡性。
• 当在 118K 张图像上训练时，DeepLab V2 在所有类别上的平均交并比（mIOU）达到 33.2%，且随着训练数据增加，性能显著提升。
• 在 COCO-Stuff 上，模型在 'thing' 类别上的表现远优于 'stuff' 类别（'thing' mIOU 为 43.6%，'stuff' mIOU 为 24.0%），这与普遍认为 'stuff' 更容易分割的假设相矛盾。
• 当前数据集规模下尚未达到性能饱和；训练数据从 1K 增加到 118K 张图像时，所有指标均持续提升，表明大规模数据仍具显著优势。
• 基于超像素的标注协议实现了高效、高质量的标注，且在速度与边界复杂度之间存在可量化的权衡，使大规模 'stuff' 标注成为可能。