[논문 리뷰] PointLLM: Empowering Large Language Models to Understand Point Clouds

Runsen Xu, Xiaolong Wang외 4명|arXiv (Cornell University)|2023. 08. 31.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

PointLLM는 기하학적, 외관적, 언어적 정보를 이원적 훈련 과정을 통해 융합함으로써 대규모 언어 모델(Large Language Models, LLMs)이 3D 객체 포인트 클라우드를 이해할 수 있도록 하는 혁신적인 프레임워크를 제안한다. 이는 3D 객체 캡션 부문에서 최신 기술 수준(SOTA) 성능을 달성하며, 인간 평가자보다 50퍼센트 이상의 평가에서 승승을 거두었고, 가림과 시점 변화에 대해 뛰어난 내성성을 보였다.

ABSTRACT

The unprecedented advancements in Large Language Models (LLMs) have shown a profound impact on natural language processing but are yet to fully embrace the realm of 3D understanding. This paper introduces PointLLM, a preliminary effort to fill this gap, enabling LLMs to understand point clouds and offering a new avenue beyond 2D visual data. PointLLM understands colored object point clouds with human instructions and generates contextually appropriate responses, illustrating its grasp of point clouds and common sense. Specifically, it leverages a point cloud encoder with a powerful LLM to effectively fuse geometric, appearance, and linguistic information. We collect a novel dataset comprising 660K simple and 70K complex point-text instruction pairs to enable a two-stage training strategy: aligning latent spaces and subsequently instruction-tuning the unified model. To rigorously evaluate the perceptual and generalization capabilities of PointLLM, we establish two benchmarks: Generative 3D Object Classification and 3D Object Captioning, assessed through three different methods, including human evaluation, GPT-4/ChatGPT evaluation, and traditional metrics. Experimental results reveal PointLLM's superior performance over existing 2D and 3D baselines, with a notable achievement in human-evaluated object captioning tasks where it surpasses human annotators in over 50% of the samples. Codes, datasets, and benchmarks are available at https://github.com/OpenRobotLab/PointLLM .

연구 동기 및 목표

• 대규모 언어 모델(LLMs)과 3D 이해 간 격차를 해소하기 위해 LLM이 객체의 색상 포인트 클라우드를 해석할 수 있도록 하는 것.
• 3D 포인트 클라우드를 위한 대규모 고품질 지시 따르기 데이터셋의 부족 문제를 해결하기 위한 것.
• 포인트 클라우드와 LLM으로부터 기하학적, 외관적, 언어적 신호를 효과적으로 융합하는 통합 모델 아키텍처 개발하기.
• 인간 및 LLM 기반 평가를 포함한 3D 이해를 위한 종합적인 벤치마크 및 평가 프로토콜 수립하기.
• LLM이 2D 이미지 기반 접근 방식을 초월해 3D 구조에 대해 우수한 일반화 및 지각 이해 능력을 달성할 수 있음을 입증하기.

제안 방법

• 이중 단계 훈련 전략: 먼저 사전 훈련된 포인트 클라우드 인코더와 사전 훈련된 LLM의 잠재 공간을 정렬하고, 이후 지시 훈련을 통해 통합 모델을 미세조정하는 것.
• Cap3D 데이터셋을 기반으로 GPT-4를 활용해 73만 개의 합성 포인트-텍스트 지시 쌍(간단한 66만 개, 복잡한 7만 개)을 생성함으로써 스케일러블한 데이터 수집을 가능하게 함.
• 포인트 클라우드 인코더(예: PointNet++)를 활용해 3D 포인트 클라우드에서 기하학적 및 외관적 특징을 추출하고, 이를 LLM의 토큰 공간으로 투영하는 것.
• 교차 어텐션 또는 연결 메커니즘을 통해 인코딩된 포인트 클라우드 특징을 LLM의 입력과 통합함으로써 다중모달 추론을 가능하게 하는 것.
• 생성 과정 중에 LLM이 포인트 클라우드 특징과 텍스트 프롬프트 양쪽 모두에 주의를 기울일 수 있도록 하는 다중모달 어텐션 메커니즘 설계.
• 새로운 두 가지 벤치마크 개발: 생성형 3D 객체 분류 및 3D 객체 캡션, 인간, GPT-4, 기존 메트릭을 통한 평가.

실험 결과

연구 질문

• RQ1 지시 따르기 데이터를 활용해 LLM이 3D 포인트 클라우드에 대해 효과적으로 미세조정되어 이해하고 추론할 수 있는가?
• RQ2 캡션 및 분류 과업에서 LLM 기반 3D 이해 모델의 성능이 2D 비전 기반 LLM 및 전용 3D 모델보다 어떻게 비교되는가?
• RQ3 합성 지시 데이터로 훈련된 모델이 실제 세계의 3D 이해 과업, 특히 가림이나 시점 변화 상황에서 얼마나 잘 일반화되는가?
• RQ4 인간 평가를 통해 평가했을 때 LLM이 3D 캡션 품질에서 인간 평가자보다 뛰어날 수 있는가?
• RQ5 기하학적, 외관적, 언어적 신호의 다중모달 융합이 모델의 3D 지각 이해에 어떤 영향을 미치는가?

주요 결과

• PointLLM는 3D 객체 분류 및 캡션 과업에서 기존 2D 및 3D 기준 모델들을 모두 압도하며, 뛰어난 일반화 능력과 내성성을 보였다.
• 인간 평가에서 PointLLM는 3D 객체 캡션 샘플의 50퍼센트 이상에서 인간 평가자보다 높은 점수를 기록하여 강력한 생성 및 지각 능력을 보였다.
• 모델은 가림과 시점 변화에 대해 뛰어난 내성성을 보이며, 포인트 클라우드에서 내부 구조(예: 자동차 내부) 및 세부 사항(예: 신발에 인쇄된 로고)을 정확히 인식했다.
• 잠재 공간 정렬 후 지시 훈련을 수행하는 이중 단계 훈련 전략은 엔드 투 엔드 미세조정보다 성능 향상에 크게 기여했다.
• GPT-4 평가 결과, PointLLM는 InstructBLIP 및 LLaVA와 같은 기준 모델보다 더 정확하고 세부 사항이 풍부하며 맥락에 적절한 캡션을 생성했다.
• PointLLM가 생성한 캡션을 기반으로 한 텍스트 기반 3D 생성은 다른 캡션 모델에서 생성된 것보다 더 충실하고 세부 사항이 풍부한 3D 객체를 생성하여 텍스트 프롬프트와 더 잘 일치시켰다.