[논문 리뷰] Point-Bind & Point-LLM: Aligning Point Cloud with Multi-modality for 3D Understanding, Generation, and Instruction Following

Z. J. Guo, Renrui Zhang외 9명|arXiv (Cornell University)|2023. 09. 01.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 ImageBind를 통해 공동 임bedding 공간을 안내하는 3D 다중모달 프레임워크인 Point-Bind를 소개한다. 이를 기반으로 Point-LLM는 다국어(영어/중국어) 지시 따르기 위한 첫 번째 3D 대규모 언어 모델로, 3D 지시 데이터를 요구하지 않고 파rameter 효율적인 테일러닝을 통해 최신 기술 수준의 3D 제로샷 분류 및 뛰어난 다중모달 질의응답 성능을 달성한다.

ABSTRACT

We introduce Point-Bind, a 3D multi-modality model aligning point clouds with 2D image, language, audio, and video. Guided by ImageBind, we construct a joint embedding space between 3D and multi-modalities, enabling many promising applications, e.g., any-to-3D generation, 3D embedding arithmetic, and 3D open-world understanding. On top of this, we further present Point-LLM, the first 3D large language model (LLM) following 3D multi-modal instructions. By parameter-efficient fine-tuning techniques, Point-LLM injects the semantics of Point-Bind into pre-trained LLMs, e.g., LLaMA, which requires no 3D instruction data, but exhibits superior 3D and multi-modal question-answering capacity. We hope our work may cast a light on the community for extending 3D point clouds to multi-modality applications. Code is available at https://github.com/ZiyuGuo99/Point-Bind_Point-LLM.

연구 동기 및 목표

• 다양한 모달리티—이미지, 텍스트, 오디오, 비디오—와 3D 포인트 클라우드를 통합된 프레임워크로 정렬하여 3D 이해 및 생성 능력을 향상시키는 것.
• 기존 3D 모델이 훈련 중에 단일 또는 제한된 모달리티에 제약을 받는 문제를 해결하는 것.
• 어느 모달리티 입력(텍스트, 이미지, 오디오, 또는 포인트 클라우드)으로도 3D 형상을 합성할 수 있는 '어느 모달리티에서든 3D 생성'을 가능하게 하는 것.
• 3D 임베딩 공간 내 산술 연산을 지원하여 3D와 다른 모달리티 간의 의미적 조합을 가능하게 하는 것.
• 3D 전용 지시 데이터가 아닌 일반 시각-언어 데이터만을 사용하여 영어/중국어 다국어 지시 따르기 기능을 갖춘 첫 번째 3D 대규모 언어 모델(Point-LLM)을 만드는 것.

제안 방법

• Point-Bind는 ImageBind의 고정된 인코더를 안내로 사용하여, 포인트 클라우드와 다중모달리티 간의 공동 임베딩 공간을 대비 학습을 통해 구축한다.
• 학습 가능한 3D 인코더(예: I2P-MAE)가 포인트 클라우드에서 특징을 추출하고, 이는 ImageBind의 고정된 다중모달 특징과 대비 손실을 통해 정렬된다.
• 프레임워크는 사전 훈련된 텍스트 인코더의 텍스트 임베딩과 3D 임베딩 간의余弦 유사도를 계산하여 제로샷 3D 오픈월드 이해를 가능하게 한다.
• 어느 모달리티에서든 3D 생성을 위해, 사전 훈련된 생성 디코더에 CLIP의 텍스트 인코더 대신 Point-Bind의 다중모달 인코더를 통합하여, 어떤 모달리티로부터도 조건 기반 생성을 가능하게 한다.
• Point-LLM는 Point-Bind와 사전 훈련된 LLaMA 모델을 바인드 네트워크와 시각 캐시를 사용하여 융합하고, 파라미터 효율적인 테일러닝을 위한 0으로 초기화된 게이팅을 적용한다.
• Point-LLM의 훈련은 3D 지시 데이터가 아닌 공개된 시각-언어 데이터셋만을 사용하며, 영어 및 중국어 모두에서 다중모달 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지, 텍스트, 오디오, 비디오와 같은 다양한 모달리티와 3D 포인트 클라우드 간에 통합된 공동 임베딩 공간을 구성할 수 있는가?
• RQ2 이 정렬이 오디오 또는 포인트 클라우드와 같은 다양한 모달리티에서 3D 형상을 합성할 수 있는 '어느 모달리티에서든 3D 생성'을 가능하게 하는가?
• RQ3 3D 특징을 산술 연산을 통해 다른 모달리티 임베딩과 의미적으로 조합하여 복합적인 다중모달 검색을 가능하게 할 수 있는가?
• RQ4 3D 지시 데이터 없이도 일반 시각-언어 데이터만을 사용하여 효과적으로 3D 대규모 언어 모델을 훈련시킬 수 있는가?
• RQ5 통합된 다중모달 표현이 최신 기술 수준의 제로샷 3D 분류 및 오픈월드 이해, 특히 오디오 기반 참조 인식까지 가능하게 하는가?

주요 결과

• Point-Bind는 ModelNet40에서 78.00%의 최신 기술 수준의 3D 제로샷 분류 정확도를 달성하여 이전 방법들을 능가한다.
• 제거 분석 결과, 투선형 레이어를 사용한 프로젝션과 I2P-MAE와 같은 자기지도 학습 3D 인코더를 사용할 경우 성능이 가장 우수하다.
• 3D 임베딩 산술 연산을 통해 효과적인 복합 다중모달 검색이 가능하며, 예를 들어 3D 개와 해파도 오디오 임베딩을 조합하여 바다에 있는 개의 이미지를 검색할 수 있다.
• 동일한 생성 디코더를 사용하여 텍스트, 이미지, 오디오, 포인트 클라우드 프롬프트로부터 고품질의 3D 메시 생성을 성공적으로 구현하였다.
• Point-LLM는 3D 및 다중모달 질의응답 성능에서 영어 및 중국어 모두에서 뛰어난 성능을 보였으며, 3D 지시 데이터 없이도 훈련되었다.
• 모델는 오디오 기반 3D 인식과 같은 흔치 않은 기능을 포함하여 3D 오픈월드 이해 능력에서 강력한 잠재적 능력을 보였다.