[论文解读] ClevrTex: A Texture-Rich Benchmark for Unsupervised Multi-Object Segmentation

Laurynas Karazija, Iro Laina+1 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Neural Network Applications被引用 5

一句话总结

本文提出了 ClevrTex，一个包含纹理化、照片级真实感 3D 场景的合成基准，其特征为多样的材质与复杂的光照，旨在挑战无监督多对象分割模型。尽管在 CLEVR 等简单基准上表现强劲，所有最先进模型在纹理化场景中均无法泛化，暴露出当前方法在处理超越均匀颜色与简单形状的视觉复杂性方面存在关键缺陷。

ABSTRACT

There has been a recent surge in methods that aim to decompose and segment scenes into multiple objects in an unsupervised manner, i.e., unsupervised multi-object segmentation. Performing such a task is a long-standing goal of computer vision, offering to unlock object-level reasoning without requiring dense annotations to train segmentation models. Despite significant progress, current models are developed and trained on visually simple scenes depicting mono-colored objects on plain backgrounds. The natural world, however, is visually complex with confounding aspects such as diverse textures and complicated lighting effects. In this study, we present a new benchmark called ClevrTex, designed as the next challenge to compare, evaluate and analyze algorithms. ClevrTex features synthetic scenes with diverse shapes, textures and photo-mapped materials, created using physically based rendering techniques. It includes 50k examples depicting 3-10 objects arranged on a background, created using a catalog of 60 materials, and a further test set featuring 10k images created using 25 different materials. We benchmark a large set of recent unsupervised multi-object segmentation models on ClevrTex and find all state-of-the-art approaches fail to learn good representations in the textured setting, despite impressive performance on simpler data. We also create variants of the ClevrTex dataset, controlling for different aspects of scene complexity, and probe current approaches for individual shortcomings. Dataset and code are available at https://www.robots.ox.ac.uk/~vgg/research/clevrtex.

研究动机与目标

• 为测试无监督多对象分割模型在具有真实纹理与材质的视觉复杂场景中的表现，填补现有基准的空白。
• 评估当前无监督模型在简单、均匀着色的合成数据集之外的泛化能力。
• 识别现有模型在面对具有纹理与复杂视觉外观的场景时的具体失败模式。
• 提供一个具有诊断性变体和分布外测试集的标准化基准，以实现系统性评估与未来方法开发。
• 建立一种反映现实世界视觉复杂性的新评估标准，突破当前如 CLEVR 基准的局限。

提出的方法

• 使用基于物理的渲染技术生成包含 50,000 张训练图像与 10,000 张测试图像的合成数据集，场景中包含 3–10 个具有多样化形状与 60 种不同材质的物体。
• 引入包含 60 种材质的目录，其具有复杂纹理，包括照片映射表面、阴影与深度线索，以增强视觉真实感。
• 创建数据集变体以隔离并探测特定视觉复杂性来源，如背景一致性（PlainBG、GrassBG）与物体外观一致性（VarBG）。
• 设计一个分布外（OOD）测试集，包含未见过的形状与材质，以评估模型在训练分布之外的泛化能力。
• 使用标准化指标，在 ClevrTex 上对一系列近期无监督多对象分割模型（如 GNM、IODINE、GQN、ObjectRoom）进行基准测试。
• 采用基于重建的目标函数与像素空间或凝视（glimpse-based）架构，比较模型在视觉复杂性逐步增加时的行为。

实验结果

研究问题

• RQ1 与简单基准相比，最先进无监督多对象分割模型在如 ClevrTex 这类富含纹理、照片级真实感的基准上表现如何？
• RQ2 当前模型依赖哪些特定视觉线索（如颜色均匀性、纹理一致性、形状规则性），当这些线索缺失时又如何失败？
• RQ3 像素空间模型与凝视（glimpse-based）模型在复杂纹理与非均匀外观的场景中，其泛化能力达到何种程度？
• RQ4 背景一致性或物体外观一致性是否存在如何影响模型性能，这又揭示了模型归纳偏置的哪些方面？
• RQ5 数据集的诊断性变体能否隔离并解释当前无监督场景分解模型的个体失败模式？

主要发现

• 所有最先进无监督多对象分割模型在 ClevrTex 上均未能达到令人满意的表现，尽管其在 CLEVR 等简单基准上表现优异。
• 像素空间模型过度拟合于一致的颜色区域与平滑渐变，无法对具有复杂纹理的物体进行分割。
• 凝视（glimpse-based）模型如 GNM 与 IODINE 在 ClevrTex 上表现更好，但仍难以处理全局上下文与语义对齐，常将强烈的强度变化误判为物体。
• 模型在具有背景一致性的数据集变体（如 PlainBG）或物体材质一致性的变体（如 VarBG）上表现显著更优，表明其依赖于外观规律性。
• 即使在 ClevrTex 上表现最佳的模型也未能有效利用全局场景上下文，而是聚焦于局部视觉模式与重建保真度。
• 包含未见形状与材质的 OOD 测试集揭示，当前模型缺乏稳健的泛化能力，进一步凸显了向真实世界数据迁移的挑战。