[论文解读] Cityscapes-Panoptic-Parts and PASCAL-Panoptic-Parts datasets for Scene Understanding

Panagiotis Meletis, Xiaoxiao Wen+3 more|arXiv (Cornell University)|Apr 16, 2020

Image Retrieval and Classification Techniques被引用 4

一句话总结

本论文提出了 Cityscapes-Panoptic-Parts 和 PASCAL-Panoptic-Parts 两个新型数据集，分别在 23 个和 193 个部件类别上扩展了全景分割任务，引入了分层的部件级标注。这些数据集采用与现有全景格式兼容的紧凑分层标注格式，实现了多层级场景理解，同时将标注开销降至最低，并已公开发布，附带处理与可视化代码。

ABSTRACT

In this technical report, we present two novel datasets for image scene understanding. Both datasets have annotations compatible with panoptic segmentation and additionally they have part-level labels for selected semantic classes. This report describes the format of the two datasets, the annotation protocols, the merging strategies, and presents the datasets statistics. The datasets labels together with code for processing and visualization will be published at https://github.com/tue-mps/panoptic_parts.

研究动机与目标

• 为解决场景理解中缺乏一致、多层级标注的问题，创建同时包含统一语义、实例和部件级标签的数据集。
• 在单一、无冲突的标签层级结构中，支持全景分割与部件级分割、目标检测等详细图像理解任务的研究。
• 通过结构化的合并与标注协议，减少标注负担，同时保持高质量、一致的部件级标签。
• 提供一种标准化、可扩展的分层标签格式，支持在单一紧凑 ID 编码中实现语义、实例和部件级标注。

提出的方法

• 通过为 Cityscapes 中的 23 个部件类别和 PASCAL 中的 193 个部件类别添加人工部件级标注，扩展了 Cityscapes 和 PASCAL-Context 数据集，重点关注物体类（如人、汽车）。
• 设计了一种分层标签格式，使用 7 位整数 ID：前两位表示语义类别，中间三位表示实例 ID（零填充），最后两位表示部件类别 ID（零填充），实现紧凑且无歧义的编码。
• 采用一种合并策略，在保留原始 Cityscapes 全景标签的同时，无冲突地整合新的部件级标注，将每张图像的平均标注时间减少至 7 分钟。
• 在每一层级采用空类约定：语义层级使用 id=0（PASCAL），每个实例的部件层级使用 id=000 表示未标注部件，从而减少不必要的空像素。
• 实现分层标签编码公式：id = semantic_id * 10^5 + instance_id * 10^2 + part_id，确保向后兼容性与可扩展性。
• 在 github.com/tue-mps/panoptic_parts 公开发布数据集及配套代码，以支持可复现性与社区使用。

实验结果

研究问题

• RQ1 能否创建一个统一、无冲突的数据集，使同一张图像集合同时支持全景分割与部件级分割？
• RQ2 如何高效地将部件级标注集成到现有全景数据集中，而不破坏原始标签或增加标注时间？
• RQ3 何种分层标签格式能够在紧凑性、可扩展性与向后兼容性方面，最优地支持语义、实例和部件级标注？
• RQ4 部件级标注的引入如何影响复杂城市与日常场景中对象理解的分布与粒度？
• RQ5 部件级标注对下游任务（如实例级目标解析与细粒度场景理解）有何影响？

主要发现

• Cityscapes-Panoptic-Parts 在原始 Cityscapes 数据集基础上，为 8 个物体类别的 23 个部件类别添加了部件级标注，包含 2975 张训练图像和 500 张验证图像。
• PASCAL-Panoptic-Parts 将 PASCAL-Parts 与 PASCAL-Context 融合，创建了一个统一数据集，包含 100 个背景类、20 个物体类和 193 个部件类别，使用 4998 张训练图像和 5105 张验证图像。
• 通过结构化的合并与标注协议，每张图像的部件级标注平均时间减少至 7 分钟。
• 分层标签格式可使用单一 7 位整数 ID，紧凑且无歧义地编码语义、实例和部件级标签，支持未来扩展。
• 数据集已连同完整代码一并发布，涵盖处理、可视化与评估，确保可复现性与社区采纳。
• 部件级标注目前仅限于物体类，但该框架设计支持未来扩展至背景类。