[论文解读] Generating Visual Spatial Description via Holistic 3D Scene Understanding

Yu Zhao, Fei Hao+5 more|arXiv (Cornell University)|May 19, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出了一种新颖的视觉空间描述（VSD）框架，通过利用整体3D场景理解来增强空间推理能力。该框架从外部3D场景特征构建以目标物体为中心的3D空间场景图（Go3D-S²G），并采用场景子图选择机制生成空间上多样的描述，显著优于基线模型——尤其在布局重叠或姿态不规则的复杂案例中表现突出。

ABSTRACT

Visual spatial description (VSD) aims to generate texts that describe the spatial relations of the given objects within images. Existing VSD work merely models the 2D geometrical vision features, thus inevitably falling prey to the problem of skewed spatial understanding of target objects. In this work, we investigate the incorporation of 3D scene features for VSD. With an external 3D scene extractor, we obtain the 3D objects and scene features for input images, based on which we construct a target object-centered 3D spatial scene graph (Go3D-S2G), such that we model the spatial semantics of target objects within the holistic 3D scenes. Besides, we propose a scene subgraph selecting mechanism, sampling topologically-diverse subgraphs from Go3D-S2G, where the diverse local structure features are navigated to yield spatially-diversified text generation. Experimental results on two VSD datasets demonstrate that our framework outperforms the baselines significantly, especially improving on the cases with complex visual spatial relations. Meanwhile, our method can produce more spatially-diversified generation. Code is available at https://github.com/zhaoyucs/VSD.

研究动机与目标

• 解决现有VSD方法仅依赖2D视觉特征所导致的空间理解偏差问题。
• 通过整合从单目RGB图像中提取的整体3D场景特征，提升VSD中的空间语义推理能力。
• 通过建模目标物体周围的多样化局部场景结构，实现空间上多样的文本生成。
• 研究外部3D场景特征质量对VSD性能的影响，特别是在领域分布偏移情况下的表现。
• 证明3D场景建模能够提升复杂空间关系（如遮挡和透视错觉）的性能。

提出的方法

• 利用现成的3D场景提取器，从输入的单目RGB图像中生成3D物体、布局、位置、尺寸及视觉特征。
• 构建以目标物体为中心的3D空间场景图（Go3D-S²G），用于编码3D空间中物体之间的空间关系。
• 应用以物体为中心的图卷积网络（OcGCN），对Go3D-S²G进行编码，以学习空间语义表征。
• 设计一种场景子图选择（S³）机制，从Go3D-S²G中采样拓扑多样的子图，以引导多样化的描述生成。
• 基于所选子图生成提示文本，以定位目标物体及其原型方向。
• 将提示、图像和3D场景特征整合进视觉-语言预训练模型（VL-PTM）中，实现端到端的VSD生成。

实验结果

研究问题

• RQ1 将3D场景特征引入是否能在超越2D视觉特征的基础上提升视觉空间描述中的空间推理能力？
• RQ2 建模整体3D场景结构如何增强空间上多样的描述生成？
• RQ3 外部3D场景提取器的质量与领域对齐性对VSD性能有何影响？
• RQ4 所提出的S³机制是否能通过探索不同的局部场景拓扑结构，有效生成多样化的空间描述？
• RQ5 该框架在复杂空间关系（如物体重叠或姿态不规则）上的表现如何？

主要发现

• 所提出的框架在两个VSD数据集上显著优于现有基线模型，尤其在涉及布局重叠或物体姿态不规则的复杂案例中表现突出。
• 该模型在VSD-v2数据集上表现优异，尤其在人类友好的复杂空间描述上取得了显著提升。
• 场景子图选择（S³）机制通过探索不同的局部场景拓扑结构，成功促进了空间上多样的文本生成。
• 该方法对领域偏移具有鲁棒性：尽管在户外场景上性能有所下降（因3D提取器的预训练领域为室内），但仍优于基线模型。
• 外部3D场景提取器的质量是关键因素；在域内（室内）图像上性能显著提升，表明若采用更优的3D提取器，性能潜力巨大。
• 消融实验确认，Go3D-S²G的构建与S³机制均对模型性能的提升有显著贡献。