[论文解读] Chat-3D: Data-efficiently Tuning Large Language Model for Universal Dialogue of 3D Scenes

Zehan Wang, Haifeng Huang+3 more|arXiv (Cornell University)|Aug 17, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

Chat-3D 通过一种数据高效的三阶段训练策略，将预训练的 3D 表示与大型语言模型（LLMs）对齐，首次提出了适用于 3D 场景的通用对话系统。它在一项新型以物体为中心的 3D 指令数据集上实现了强大性能，相对于 GPT-4 的得分达到 75.6%，支持准确的空间推理、基于物体的对话以及在低资源环境下的外部知识整合。

ABSTRACT

3D scene understanding has gained significant attention due to its wide range of applications. However, existing methods for 3D scene understanding are limited to specific downstream tasks, which hinders their practicality in real-world applications. This paper presents Chat-3D, which combines the 3D visual perceptual ability of pre-trained 3D representations and the impressive reasoning and conversation capabilities of advanced LLMs to achieve the first universal dialogue systems for 3D scenes. Specifically, we align 3D representations into the feature space of LLMs, thus enabling LLMs to perceive the 3D world. Given the scarcity of 3D scene-text data, we propose a three-stage training strategy to efficiently utilize the available data for better alignment. To enhance the reasoning ability and develop a user-friendly interaction scheme, we further construct a high-quality object-centric 3D instruction dataset and design an associated object-centric prompt. Our experiments show that Chat-3D achieves an impressive ability to comprehend diverse instructions for 3D scenes, engage in intricate spatial reasoning, and incorporate external knowledge into its responses. Chat-3D achieves a 75.6% relative score compared with GPT-4 on the constructed instruction dataset.

研究动机与目标

• 解决当前 3D 场景缺乏通用对话系统的问题，这些系统仅支持如图像字幕或问答等狭窄任务。
• 通过设计一种数据高效的多模态 LLM 训练策略，克服 3D 场景文本数据有限的挑战。
• 通过引入以物体为中心的提示和指令数据集，实现在 3D 环境中丰富且用户友好的交互。
• 在 2D 视觉模型的基础上，增强 3D 场景理解中的空间推理与知识整合能力。

提出的方法

• 提出一种三阶段训练方案：(1) 将 3D 物体特征与类别名称嵌入对齐，(2) 使用场景-文本数据训练 3D 物体关系模块，(3) 在高质量指令数据集上进行微调。
• 构建一个多样化、以物体为中心的 3D 指令数据集，涵盖属性、位置、关系、功能以及放置建议。
• 设计一种以物体为中心的提示机制，允许用户通过交互选择目标物体，从而降低 3D 对话中的歧义。
• 将 3D 视觉表示对齐到 LLM 的语义特征空间，以支持对 3D 空间与语义内容的感知。
• 利用预训练的 3D 模型（如 PointBERT、Point-MAE）和 LLM（如 LLaMA）作为联合视觉-语言学习的基础组件。
• 在对齐阶段使用对比学习和交叉注意力机制，将 3D 特征与 LLM 的 token 嵌入对齐。

Figure 1: The overall architecture of Chat-3D.

实验结果

研究问题

• RQ1 在 3D 场景-文本数据有限的情况下，多模态 LLM 是否能被有效微调以支持 3D 场景中的通用对话？
• RQ2 与标准的两阶段方法相比，三阶段训练策略是否能提升低资源 3D 对话中的数据效率与性能？
• RQ3 以物体为中心的指令数据集与提示设计是否能显著提升 3D 场景交互的用户友好性并减少歧义？
• RQ4 Chat-3D 在 3D 场景的空间感知与推理方面与 2D 多模态 LLM（如 LLaVA、MiniGPT-4）相比表现如何？
• RQ5 该模型在 3D 环境中整合外部知识并执行复杂空间推理的能力在多大程度上得以实现？

主要发现

• Chat-3D 在构建的 3D 指令数据集上相对于 GPT-4 的得分达到 75.6%，证明其在通用对话与推理方面具有强大性能。
• 三阶段训练方案相比标准两阶段方法性能提升 8.6 分，证明其在低资源环境下的数据效率。
• 将对话数据纳入指令数据集可显著提升对话任务表现，而详细字幕数据则有助于提升字幕基准性能。
• 整合所有类型数据可获得最高整体性能，表明 Chat-3D 在对话与详细描述任务中均表现出色。
• Chat-3D 在空间感知与推理方面优于 2D 多模态 LLM（如 LLaVA、MiniGPT-4），尤其在深度与视角理解方面表现更优。
• 可视化结果证实，Chat-3D 能够准确计数物体、精确定位其在 3D 空间中的位置，并对物体功能与空间关系进行推理。

Figure 2: Example 1 of Chat-3D conversation.