[论文解读] Generalization and Robustness Implications in Object-Centric Learning

Andrea Dittadi, Samuele Papa+4 more|arXiv (Cornell University)|Jul 1, 2021

Advanced Neural Network Applications参考文献 77被引用 5

一句话总结

本文通过在五个多对象数据集上训练最先进无监督模型，研究了以对象为中心的表征学习，以评估在分布偏移下的泛化能力和鲁棒性。研究发现，以对象为中心的模型在下游任务中泛化良好，并对对象级别的分布外（OOD）偏移保持鲁棒，但在全局场景级别的分布偏移下性能显著下降，具体取决于模型和偏移类型。

ABSTRACT

The idea behind object-centric representation learning is that natural scenes can better be modeled as compositions of objects and their relations as opposed to distributed representations. This inductive bias can be injected into neural networks to potentially improve systematic generalization and performance of downstream tasks in scenes with multiple objects. In this paper, we train state-of-the-art unsupervised models on five common multi-object datasets and evaluate segmentation metrics and downstream object property prediction. In addition, we study generalization and robustness by investigating the settings where either a single object is out of distribution -- e.g., having an unseen color, texture, or shape -- or global properties of the scene are altered -- e.g., by occlusions, cropping, or increasing the number of objects. From our experimental study, we find object-centric representations to be useful for downstream tasks and generally robust to most distribution shifts affecting objects. However, when the distribution shift affects the input in a less structured manner, robustness in terms of segmentation and downstream task performance may vary significantly across models and distribution shifts.

研究动机与目标

• 评估无监督以对象为中心的表征学习是否能提升多对象场景中下游任务的性能。
• 检验当单个对象处于分布外（OOD）时（例如，新颜色或形状），模型是否能保持对其他对象的稳定表征。
• 评估以对象为中心的模型在全局分布偏移（如遮挡、裁剪或对象数量增加）下的泛化鲁棒性。
• 建立一个以对象为中心的表征学习基准库，以支持可复现的研究和未来评估。
• 探究以对象为中心模型中分割质量、重建误差与下游预测性能之间的相关性。

提出的方法

• 重新实现最先进无监督对象发现模型：MONet、Slot Attention、GENESIS、SPACE，以及使用卷积和广播解码器的VAEs。
• 在五个多对象数据集上训练模型：CLEVR、Multi-dSprites、Objects Room、ShapeStacks 和 Tetrominoes。
• 使用分割指标（如 ARI）、重建误差和下游对象属性预测性能评估模型。
• 施加受控的分布偏移：单对象OOD（如未见过的颜色、形状、纹理）和全局场景级偏移（遮挡、裁剪、对象数量增加）。
• 基于验证集上的 ARI 分数选择模型，并在保留的测试集上报告结果，以确保评估无偏。
• 发布一个开源库（https://github.com/addtt/object-centric-library），以标准化基准测试，并支持新模型和数据集的扩展。

实验结果

研究问题

• RQ1 无监督以对象为中心的表征学习是否能提升下游对象属性预测任务的性能？
• RQ2 当单个对象处于分布外（如新颜色或形状）时，分布内对象的表征是否保持稳定且不受影响？
• RQ3 以对象为中心的模型对全局分布偏移（如遮挡、裁剪或对象数量增加）有多鲁棒？
• RQ4 以对象为中心的模型中，分割质量、重建误差与下游任务性能之间是否存在强相关性？
• RQ5 以对象为中心的表征能否在多样化分布偏移下有效泛化？不同模型和偏移类型下的性能表现如何变化？

主要发现

• 以对象为中心的模型在对象属性预测任务中表现出色，且分割指标（如 ARI）、重建误差与下游准确率之间存在强相关性。
• 当单个对象处于分布外（如新颜色或形状）时，分割性能基本保持稳定，对分布内对象的预测影响极小。
• 在全局分布偏移（如遮挡、裁剪或对象数量增加）下，不同模型的分割和下游性能差异显著，部分模型出现明显性能下降。
• 以对象为中心的模型在全局偏移下的鲁棒性高度依赖于模型本身，表明归纳偏置本身并不能保证对所有类型分布偏移的泛化能力。
• MONet、Slot Attention 和 GENESIS 等模型对某些偏移表现出更强的鲁棒性，而 VAE 基线模型在相同条件下则表现出更明显的性能下降。
• 本研究表明，以对象为中心的表征在结构化、对象级别的分布偏移下特别有效，但在场景级结构被改变时面临挑战。