[논문 리뷰] Chat-3D: Data-efficiently Tuning Large Language Model for Universal Dialogue of 3D Scenes

Zehan Wang, Haifeng Huang외 3명|arXiv (Cornell University)|2023. 08. 17.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

Chat-3D는 데이터 효율적인 3단계 훈련 전략을 통해 사전 훈련된 3D 표현을 대규모 언어 모델(Large Language Models, LLMs)과 정렬함으로써 3D 시각적 장면에 대한 유일한 대화 시스템을 도입한다. 새로운 객체 중심 3D 지시 데이터셋에서 GPT-4 대비 75.6%의 상대 점수를 기록하며 강력한 성능을 달성하여 자원이 제한된 환경에서 정확한 공간적 추론, 객체 인식 대화, 외부 지식 통합이 가능하다.

ABSTRACT

3D scene understanding has gained significant attention due to its wide range of applications. However, existing methods for 3D scene understanding are limited to specific downstream tasks, which hinders their practicality in real-world applications. This paper presents Chat-3D, which combines the 3D visual perceptual ability of pre-trained 3D representations and the impressive reasoning and conversation capabilities of advanced LLMs to achieve the first universal dialogue systems for 3D scenes. Specifically, we align 3D representations into the feature space of LLMs, thus enabling LLMs to perceive the 3D world. Given the scarcity of 3D scene-text data, we propose a three-stage training strategy to efficiently utilize the available data for better alignment. To enhance the reasoning ability and develop a user-friendly interaction scheme, we further construct a high-quality object-centric 3D instruction dataset and design an associated object-centric prompt. Our experiments show that Chat-3D achieves an impressive ability to comprehend diverse instructions for 3D scenes, engage in intricate spatial reasoning, and incorporate external knowledge into its responses. Chat-3D achieves a 75.6% relative score compared with GPT-4 on the constructed instruction dataset.

연구 동기 및 목표

• 현재 캡션 또는 질의응답(QA)과 같은 좁은 작업에만 대응하는 3D 장면에 대한 통합 대화 시스템의 부재를 해결한다.
• 3D 장면-텍스트 데이터의 제한으로 인한 과제를 해결하기 위해 다중 모odal LLM을 위한 데이터 효율적인 훈련 전략을 설계한다.
• 객체 중심 프롬프트 및 지시 데이터셋을 도입하여 3D 환경에서 풍부하고 사용자 友好的한 상호작용을 가능하게 한다.
• 2D 시각 모델을 초월하여 3D 장면 이해에서 공간적 추론과 지식 통합 능력을 향상시킨다.

제안 방법

• 3단계 훈련 체계 제안: (1) 3D 객체 특징을 클래스 이름 임베딩과 정렬, (2) 장면-텍스트 데이터를 사용해 3D 객체 관계 모듈 훈련, (3) 고품질 지시 데이터셋에서의 파인튜닝.
• 속성, 위치, 관계, 기능성, 배치 제안 등을 포함한 다양한 객체 중심 3D 지시 데이터셋 구축.
• 사용자가 상호작용을 통해 대상 객체를 선택할 수 있도록 도와주는 객체 중심 프롬프트 설계로 3D 대화의 모호성을 감소시킴.
• 3D 시각적 표현을 LLM의 의미적 특징 공간에 정렬하여 3D 공간적 및 의미적 콘텐츠 인식을 가능하게 함.
• 공통된 시각-언어 학습을 위한 기초 구성 요소로 사전 훈련된 3D 모델들(예: PointBERT, Point-MAE)과 LLM들(예: LLaMA)을 활용.
• 정렬 단계에서 3D 특징과 LLM 토큰 임베딩 간의 유사도를 향상시키기 위해 대비 학습(contrastive learning)과 교차 어텐션 메커니즘 사용.

Figure 1: The overall architecture of Chat-3D.

실험 결과

연구 질문

• RQ1 제한된 3D 장면-텍스트 데이터 상황에서도 다중 모달 LLM이 3D 장면에서 통합 대화를 효과적으로 지원하도록 파인튜닝할 수 있는가?
• RQ2 기본적인 2단계 방법에 비해 3단계 훈련 전략이 자원이 제한된 3D 대화에서 데이터 효율성과 성능 향상에 기여하는가?
• RQ3 객체 중심 지시 데이터셋과 프롬프트 설계가 3D 장면 상호작용의 사용자 우호성 향상과 모호성 감소에 상당한 기여를 하는가?
• RQ4 Chat-3D는 2D 다중 모달 LLM들(예: LLaVA, MiniGPT-4)에 비해 3D 장면에서 공간 인식과 추론 능력에서 뛰어나게 성능을 내는가?
• RQ5 모델이 3D 환경에서 외부 지식 통합과 복잡한 공간적 추론을 얼마나 잘 수행할 수 있는가?

주요 결과

• Chat-3D는 구축한 3D 지시 데이터셋에서 GPT-4 대비 75.6%의 상대 점수를 기록하여 통합 대화 및 추론 능력에서 뛰어난 성능을 입증한다.
• 3단계 훈련 체계는 기존 2단계 방법 대비 성능을 8.6점 향상시켜 자원이 제한된 환경에서의 데이터 효율성을 입증한다.
• 지시 데이터셋에 대화 데이터를 통합할 경우 대화 작업에서 더 큰 성과를 얻었으며, 상세한 캡션 데이터는 캡션 벤치마크 성능 향상에 기여했다.
• 모든 유형의 데이터를 조합하면 전체 성능이 가장 높아졌으며, 이는 Chat-3D가 대화 및 상세 기술 작업 모두에서 뛰어난 능력을 갖추고 있음을 보여준다.
• Chat-3D는 2D 다중 모달 LLM들(예: LLaVA, MiniGPT-4)에 비해 공간 인식과 추론 능력에서 뛰어나며, 특히 깊이 및 시점 이해 능력에서 두각을 나타낸다.
• 시각화 결과는 Chat-3D가 객체 수를 정확히 세고 3D 공간에서 객체를 국소화하며, 기능성과 공간적 관계에 대해 정확한 추론을 수행할 수 있음을 확인한다.

Figure 2: Example 1 of Chat-3D conversation.