[论文解读] Leveraging Large (Visual) Language Models for Robot 3D Scene Understanding

William Chen, Siyi Hu+2 more|arXiv (Cornell University)|Sep 12, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出利用大规模预训练视觉语言模型（VLMs）和语言模型（LMs）进行机器人3D场景理解，特别聚焦于房间分类。通过结合物体标签、空间信息和语言先验——无论是通过零样本提示还是微调的结构化提示——该方法实现了约70%的准确率，优于仅视觉和基于图的方法，同时在未见物体和标签空间上展现出强大的泛化与迁移能力。

ABSTRACT

Abstract semantic 3D scene understanding is a problem of critical importance in robotics. As robots still lack the common-sense knowledge about household objects and locations of an average human, we investigate the use of pre-trained language models to impart common sense for scene understanding. We introduce and compare a wide range of scene classification paradigms that leverage language only (zero-shot, embedding-based, and structured-language) or vision and language (zero-shot and fine-tuned). We find that the best approaches in both categories yield $\sim 70\%$ room classification accuracy, exceeding the performance of pure-vision and graph classifiers. We also find such methods demonstrate notable generalization and transfer capabilities stemming from their use of language.

研究动机与目标

• 为解决机器人领域中语义3D场景理解的挑战，特别是针对房间类型等高层次空间概念。
• 探究预训练语言模型（LMs）和视觉语言模型（VLMs）如何为机器人场景理解提供常识性知识。
• 比较仅语言与视觉-语言方法在3D场景图中的房间分类表现。
• 评估在未见物体和新型标签空间上的泛化与迁移性能。
• 探索此类模型在资源受限机器人平台上的部署可行性。

提出的方法

• 作者使用预训练语言模型（如GPT-J）基于包含物体标签、位置和房间尺寸的物体与空间布局的文本描述进行房间分类。
• 他们设计了一种结构化语言提示方法，将空间和语义信息编码为自然语言字符串，输入至语言模型。
• 在视觉-语言方法中，他们使用VLMs（如CLIP、LLaVA）联合处理视觉特征和文本描述以实现房间分类。
• 他们在Matterport3D数据集上对比了零样本提示与微调后的LM和VLM变体在房间分类中的表现。
• 他们使用标准准确率指标评估性能，并分析对保留对象和新标签空间的零样本泛化能力。
• 他们可视化预测结果，并提供消融实验以评估不同输入组件（如物体标签与空间布局）的影响。

实验结果

研究问题

• RQ1 预训练语言模型能否为机器人3D场景理解（特别是房间分类）提供有效的常识性先验？
• RQ2 与仅基于物体标签的提示相比，将空间和语义信息编码为自然语言的结构化语言提示在准确率和泛化能力方面表现如何？
• RQ3 视觉-语言模型（VLMs）是否优于仅视觉方法进行房间分类？视觉与语言信号结合的影响是什么？
• RQ4 这些基于语言的方法在未见物体和训练期间未见的新标签空间上的泛化程度如何？
• RQ5 模型规模和推理约束对性能有何影响？更小的模型是否仍能在机器人平台上实现良好表现？

主要发现

• 表现最佳的方法——无论是仅语言还是视觉-语言方法——均实现了约70%的房间分类准确率，优于纯视觉和基于图的分类器。
• 结构化语言方法（结合物体位置和房间尺寸）显著优于仅基于物体标签的提示方法，因其提供了更丰富的空间上下文。
• 当将视觉特征与文本描述结合时，视觉-语言模型（VLMs）的表现优于仅视觉方法，且几乎无需人工特征工程。
• 所有基于语言的方法在未见物体和新标签空间上均展现出强大的零样本泛化能力，凸显了语言先验的鲁棒性。
• 即使在计算资源有限（单张RTX 3080 GPU）的条件下，较小的模型如GPT-J仍能实现良好性能，表明其在移动机器人上的部署可行性。
• 本研究识别出训练数据中的偏差（如Matterport3D数据集的有限人口统计代表性），可能影响模型在多样化环境中的公平性与泛化能力。