[论文解读] When LLMs step into the 3D World: A Survey and Meta-Analysis of 3D Tasks via Multi-modal Large Language Models

Xianzheng Ma, Brandon Smart+15 more|arXiv (Cornell University)|May 16, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本综述对用于3D场景理解的多模态大语言模型（3D-LLMs）进行了全面分析，将大语言模型与点云、NeRF等各类3D表示形式相结合，以实现推理、图像字幕生成、问答以及基于智能体的导航。该综述指出大语言模型的关键优势，如上下文学习、零样本泛化能力以及世界知识，同时强调了在数据表示、计算效率和基准测试方面面临的挑战，并呼吁开发新方法以充分释放其在具身人工智能系统中的潜力。

ABSTRACT

As large language models (LLMs) evolve, their integration with 3D spatial data (3D-LLMs) has seen rapid progress, offering unprecedented capabilities for understanding and interacting with physical spaces. This survey provides a comprehensive overview of the methodologies enabling LLMs to process, understand, and generate 3D data. Highlighting the unique advantages of LLMs, such as in-context learning, step-by-step reasoning, open-vocabulary capabilities, and extensive world knowledge, we underscore their potential to significantly advance spatial comprehension and interaction within embodied Artificial Intelligence (AI) systems. Our investigation spans various 3D data representations, from point clouds to Neural Radiance Fields (NeRFs). It examines their integration with LLMs for tasks such as 3D scene understanding, captioning, question-answering, and dialogue, as well as LLM-based agents for spatial reasoning, planning, and navigation. The paper also includes a brief review of other methods that integrate 3D and language. The meta-analysis presented in this paper reveals significant progress yet underscores the necessity for novel approaches to harness the full potential of 3D-LLMs. Hence, with this paper, we aim to chart a course for future research that explores and expands the capabilities of 3D-LLMs in understanding and interacting with the complex 3D world. To support this survey, we have established a project page where papers related to our topic are organized and listed: https://github.com/ActiveVisionLab/Awesome-LLM-3D.

研究动机与目标

• 系统性地回顾并综合当前将大语言模型（LLMs）与多样化3D空间数据表示形式（如点云、网格和神经辐射场，NeRFs）相结合的方法论。
• 识别并分析大语言模型的独特优势，如上下文学习、逐步推理、开放词汇能力以及丰富的世界知识，这些优势可增强3D场景理解与交互能力。
• 评估现有的3D视觉-语言任务，包括图像字幕生成、问答和对话，并评估当前模型在这些领域中的性能与局限性。
• 考察大语言模型作为具身人工智能系统中用于空间推理、规划与导航的智能体的角色，并探索其在文本驱动3D生成与场景理解中的应用。
• 识别当前在数据表示、计算效率、基准测试以及伦理问题（如幻觉与偏见）方面的关键挑战，并提出推动3D-LLM能力发展的未来研究方向。

提出的方法

• 调研并分类3D数据表示形式（如点云、网格、体素、NeRFs）及其与大语言模型在下游任务中的兼容性。
• 分析融合3D感知与大语言模型的模型架构，包括从预训练的2D视觉-语言模型（VLMs）蒸馏的方法，以及端到端的3D-LLM框架。
• 评估大语言模型作为多模态接口和具身智能体的应用，利用其推理能力与世界知识实现对3D环境中导航与规划的支持。
• 回顾指令微调数据集（如LAMM和3D-SSG），这些数据集利用GPT生成的响应和模板，为3D场景提供多模态标注。
• 对现有研究开展元分析，以评估性能趋势、任务覆盖范围及3D-LLM应用中的局限性。
• 识别当前基准在评估空间推理与复杂3D理解方面存在的不足，特别是缺乏粒度化与任务特定的评估指标，并提出改进需求。

实验结果

研究问题

• RQ1 当大语言模型与3D数据表示形式结合时，如何通过上下文学习、推理能力与世界知识提升3D场景理解？
• RQ2 在3D环境中执行图像字幕生成、问答与对话等任务时，哪些3D数据表示形式与模型架构最为有效？
• RQ3 大语言模型在复杂3D环境中在多大程度上可作为具身智能体实现空间推理、规划与导航？
• RQ4 当前3D-LLM系统的基准测试与评估协议存在哪些关键局限性？如何改进以更准确衡量空间推理与交互能力？
• RQ5 在真实3D应用中部署大语言模型时，会引发哪些伦理与安全挑战（如幻觉、偏见与不可预测性）？又该如何缓解？

主要发现

• 大语言模型通过零样本泛化、上下文学习与推理能力显著提升了3D任务的性能，使模型在无需针对特定3D任务进行微调的情况下也能实现稳健理解。
• 点云是当前3D-LLM系统中最广泛使用的3D表示形式，因其结构简单且与深度学习高度兼容，但难以捕捉精细的空间细节。
• 从预训练的2D视觉-语言模型蒸馏可实现开放词汇的3D场景理解，使模型能利用语言先验泛化到未见过的物体类别。
• 如LAMM和3D-SSG等指令微调数据集证明了利用大语言模型生成高质量多模态标注的可行性，从而提升了零样本与少样本迁移性能。
• 尽管已取得进展，当前基准在范围与粒度上仍显不足，尤其在评估复杂3D推理与决策能力方面，凸显了对更丰富且任务特定的评估协议的迫切需求。
• 安全与伦理风险（如幻觉、有偏预测与不可预测的失败）在3D-LLM系统中普遍存在，亟需建立稳健的评估框架与包容性数据收集机制，以确保公平且可靠的部署。