[论文解读] A General Protocol to Probe Large Vision Models for 3D Physical Understanding

Guanqi Zhan, Chuanxia Zheng+2 more|arXiv (Cornell University)|Oct 10, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出了一种通用的探针协议，用于评估像 Stable Diffusion 这类大规模扩散模型对场景三维物理属性的理解程度。通过在具有三维属性标注的真实图像数据集上，对模型不同层和时间步的特征应用线性探针，研究发现 Stable Diffusion 在建模几何结构、支撑关系、阴影和深度方面表现出色，优于自监督模型如 DINO 和 CLIP，但在材质和遮挡理解方面仍存在困难。

ABSTRACT

Our objective in this paper is to probe large vision models to determine to what extent they 'understand' different physical properties of the 3D scene depicted in an image. To this end, we make the following contributions: (i) We introduce a general and lightweight protocol to evaluate whether features of an off-the-shelf large vision model encode a number of physical 'properties' of the 3D scene, by training discriminative classifiers on the features for these properties. The probes are applied on datasets of real images with annotations for the property. (ii) We apply this protocol to properties covering scene geometry, scene material, support relations, lighting, and view-dependent measures, and large vision models including CLIP, DINOv1, DINOv2, VQGAN, Stable Diffusion. (iii) We find that features from Stable Diffusion and DINOv2 are good for discriminative learning of a number of properties, including scene geometry, support relations, shadows and depth, but less performant for occlusion and material, while outperforming DINOv1, CLIP and VQGAN for all properties. (iv) It is observed that different time steps of Stable Diffusion features, as well as different transformer layers of DINO/CLIP/VQGAN, are good at different properties, unlocking potential applications of 3D physical understanding.

研究动机与目标

• 探究像 Stable Diffusion 这类大规模扩散模型是否隐式学习了场景的三维物理属性。
• 开发一种可泛化的探针协议，用于评估多种物理属性的三维场景理解能力。
• 比较 Stable Diffusion 与自监督模型（如 DINO、CLIP）在建模三维场景属性方面的性能表现。
• 识别扩散过程中哪些层和时间步编码了特定三维属性的最具信息量的特征。
• 为在下游三维感知视觉任务中使用扩散模型特征提供基准。

提出的方法

• 采用三步探针协议：(1) 选择一个包含特定三维属性真实标注的真实图像数据集（例如，SOBA 用于阴影），(2) 对扩散模型的层和时间步进行网格搜索，以识别最优特征，(3) 在这些特征上训练线性分类器以预测该属性。
• 从现成的 Stable Diffusion 的潜在空间中提取特征；通过在标注的对象或场景区域上进行平均池化，获得区域级表征。
• 针对每个性质，根据验证集表现选择最佳性能的层和时间步，最终使用 ROC AUC 在测试集上评估最终模型。
• 将相同的协议应用于其他预训练模型（OpenCLIP、DINOv1、DINOv2）以进行对比分析。
• 研究仅使用现成模型，未进行微调，完全依赖特征提取与线性探针来评估三维理解能力。
• 所有实验均在添加了潜在空间噪声的真实图像上进行，以模拟修复类条件。

实验结果

研究问题

• RQ1 Stable Diffusion 在多大程度上建模了场景的三维几何结构及物理关系（如支撑与阴影）？
• RQ2 Stable Diffusion 在三维场景理解方面的性能与自监督模型（如 DINO 和 CLIP）相比如何？
• RQ3 在扩散过程中，哪些层和时间步编码了三维场景属性的最具信息量的特征？
• RQ4 该探针协议能否可靠地检测出扩散模型中物理属性的显式表征？
• RQ5 在当前的扩散模型中，哪些三维场景属性（如材质、遮挡或深度）最具挑战性？

主要发现

• Stable Diffusion 在所有测试的三维场景属性上均取得最高性能，其深度预测的 AUC 达到 99.3，显著优于 DINOv2（98.0）和 OpenCLIP（95.5）。
• 该模型在场景几何、支撑关系、阴影和深度方面表现出色，AUC 分别达到 94.4、94.5 和 99.3。
• 在材质理解方面表现中等，AUC 为 79.4；遮挡理解最弱，AUC 为 75.6，表明仍存在持续挑战。
• 即使仅使用最后一层表征，其他模型如 DINOv2 和 OpenCLIP 在所有属性上均表现逊于 Stable Diffusion，其中遮挡任务的差距最大（75.6 vs. 67.9，DINOv2）。
• 最佳层与时间步的选择可使性能相比最后一层提升最高达 4%，但即便使用默认的最后一层特征，Stable Diffusion 仍全面优于所有基线模型。
• 探针协议成功识别出 Stable Diffusion 显式编码了多种三维物理属性的特征，表明其具备隐式的三维场景理解能力。