[论文解读] Language Conditioned Spatial Relation Reasoning for 3D Object Grounding

Shizhe Chen, Pierre-Louis Guhur+3 more|arXiv (Cornell University)|Nov 17, 2022

Multimodal Machine Learning Applications参考文献 43被引用 14

一句话总结

该论文提出 ViL3DRel，一种视觉-语言 3D 关系推理模型，通过将空间自注意力机制整合到 Transformer 中，显式建模物体之间的相对距离和方向，从而增强 3D 物体定位能力。该方法采用教师-学生蒸馏策略，将使用真实标签训练的教师模型中的空间推理知识迁移至使用原始点云输入的学生模型，从而在 Nr3D、Sr3D 和 ScanRefer 基准上实现最先进性能，绝对提升分别为 9.3%、8.3% 和 4.47%。

ABSTRACT

Localizing objects in 3D scenes based on natural language requires understanding and reasoning about spatial relations. In particular, it is often crucial to distinguish similar objects referred by the text, such as "the left most chair" and "a chair next to the window". In this work we propose a language-conditioned transformer model for grounding 3D objects and their spatial relations. To this end, we design a spatial self-attention layer that accounts for relative distances and orientations between objects in input 3D point clouds. Training such a layer with visual and language inputs enables to disambiguate spatial relations and to localize objects referred by the text. To facilitate the cross-modal learning of relations, we further propose a teacher-student approach where the teacher model is first trained using ground-truth object labels, and then helps to train a student model using point cloud inputs. We perform ablation studies showing advantages of our approach. We also demonstrate our model to significantly outperform the state of the art on the challenging Nr3D, Sr3D and ScanRefer 3D object grounding datasets.

研究动机与目标

• 通过显式建模自然语言指令中的空间关系（如 '最左侧' 或 '最靠近'）来提升 3D 物体定位性能。
• 通过知识蒸馏策略，将教师模型中学习到的空间推理知识迁移至学生模型，以应对 3D 场景-语言数据集有限的挑战。
• 通过引入编码 3D 物体之间相对距离和方向的空间自注意力机制，增强基于 Transformer 的模型性能。
• 通过教师-学生框架，利用教师模型使用真实物体标签进行训练，减少对噪声点云特征的依赖。
• 通过旋转增强和空间注意力与自注意力的 Sigmoid-Softmax 融合，实现鲁棒且视角不变的空间推理。

提出的方法

• 提出一种新型空间自注意力层，基于点云中所有物体对之间的相对距离和方向计算注意力分数。
• 使用 Sigmoid-Softmax 函数将空间注意力与标准自注意力融合，以平衡语言条件化推理与空间推理的权重。
• 采用教师-学生蒸馏框架，其中教师模型使用真实物体标签学习准确的空间关系，学生模型则从教师模型的预测结果中学习，输入为原始点云。
• 在训练过程中应用旋转增强，以提升视角不变的空间推理能力。
• 端到端训练模型，使用点云特征和文本嵌入作为输入，通过交叉熵损失优化定位准确率。
• 在三个基准数据集（Nr3D、Sr3D 和 ScanRefer）上评估方法，分别使用真实物体提议和检测到的物体提议进行测试。

实验结果

研究问题

• RQ1 是否可以通过编码相对距离和方向的空间自注意力机制，提升语言条件化设置下的 3D 物体定位性能？
• RQ2 从使用真实标签训练的教师模型蒸馏知识，是否能增强在原始点云上训练的学生模型的空间推理能力？
• RQ3 在具有挑战性的 3D 定位基准上，所提方法与最先进方法相比，准确率表现如何？
• RQ4 旋转增强在多大程度上提升了模型对视角变化的鲁棒性？
• RQ5 尽管训练数据有限，该模型是否能在多样化的 3D 环境中实现良好泛化？

主要发现

• 在使用真实物体提议时，ViL3DRel 在 Nr3D 数据集上相比之前最先进方法实现了 9.3% 的绝对性能提升。
• 在 Sr3D 数据集上，该模型在相同评估协议下相比先前 SOTA 方法实现了 8.3% 的绝对增益。
• 在 ScanRefer 数据集上，使用相同检测到的物体提议时，ViL3DRel 在整体准确率上比之前 SOTA 方法高出 4.47 分。
• 消融实验证实，空间自注意力模块和教师-学生蒸馏策略均显著提升了模型性能。
• 该模型展现出强大的泛化能力，优于依赖 2D-3D 对齐或额外 2D 图像的方法，而这些信息在实际中并不总是可得。
• 全监督设置（真实提议和标签）的上限性能与检测提议设置之间存在显著差距（超过 12%），凸显了提议质量带来的挑战。