[논문 리뷰] PointCLIP V2: Prompting CLIP and GPT for Powerful 3D Open-world Learning

Xiangyang Zhu, Renrui Zhang외 6명|arXiv (Cornell University)|2022. 11. 21.

Domain Adaptation and Few-Shot Learning인용 수 22

한 줄 요약

PointCLIP V2는 CLIP과 GPT를 통합하여 3D 훈련 없이 제로샷 및 푸샷 3D 분류, 분할, 검출을 가능하게 하며, 현실적인 프로젝션과 3D 인식 GPT 프롬프트를 사용해 2D-3D-언어 간의 격차를 해소한다.

ABSTRACT

Large-scale pre-trained models have shown promising open-world performance for both vision and language tasks. However, their transferred capacity on 3D point clouds is still limited and only constrained to the classification task. In this paper, we first collaborate CLIP and GPT to be a unified 3D open-world learner, named as PointCLIP V2, which fully unleashes their potential for zero-shot 3D classification, segmentation, and detection. To better align 3D data with the pre-trained language knowledge, PointCLIP V2 contains two key designs. For the visual end, we prompt CLIP via a shape projection module to generate more realistic depth maps, narrowing the domain gap between projected point clouds with natural images. For the textual end, we prompt the GPT model to generate 3D-specific text as the input of CLIP's textual encoder. Without any training in 3D domains, our approach significantly surpasses PointCLIP by +42.90%, +40.44%, and +28.75% accuracy on three datasets for zero-shot 3D classification. On top of that, V2 can be extended to few-shot 3D classification, zero-shot 3D part segmentation, and 3D object detection in a simple manner, demonstrating our generalization ability for unified 3D open-world learning.

연구 동기 및 목표

• 3D 도메인 훈련 없이 오픈월드 3D 이해를 촉진한다.
• 현실적인 프로젝션과 GPT로 생성된 텍스트를 통해 2D 비전-언어 모델과 3D를 연결한다.
• 제로샷 및 푸샷 3D 분류, 분할, 검출을 가능하게 한다.
• 단일 프레임워크에서 여러 3D 작업으로의 일반화를 보여준다.

제안 방법

• Realistic Projection 파이프라인(Quantize, Densify, Smooth, Squeeze)을 사용하여 3D 포인트 클라우드를 깊이 맵으로 투사하고 CLIP를 프롬프트한다.
• 3D 지향 명령으로 GPT-3를 프롬프트하여 CLIP의 텍스트 인코더에 대한 풍부한 3D-특정 텍스트를 생성한다.
• 다중 뷰 깊이 맵을 GPT 생성 3D 텍스트와 정렬하여 3D 데이터에 대한 이미지-텍스트 정렬을 향상시킨다.
• 제로샷/푸샷 3D 분류, 제로샷 3D 파트 분할, 제로샷 3D 객체 검출까지 프레임워크를 확장한다.
• 선택적으로 학습 가능 한 스무딩 및 3D 컨볼루션 모듈을 추가하여 소수샷 적응을 가능하게 하되 CLIP 인코더는 동결한 상태로 유지한다.

실험 결과

연구 질문

• RQ1 CLIP과 GPT를 공동 프롬 prompt하여 3D 도메인 훈련 없이도 통합된 3D 오픈월드 이해를 수행할 수 있는가?
• RQ2 현실적인 프로젝션과 3D-인식 텍스트 프롬프트를 통해 3D 데이터를 CLIP 친화적으로 변환할 수 있는가?
• RQ3 이 통합 프레임워크 하에서 제로샷 및 푸샷 3D 분류/분할/검출의 성능은 어떠한가?

주요 결과

• 제로샷 3D 분류 이점: ModelNet10 73.13%, ModelNet40 64.22%, ScanObjectNN PB_T50_RS 35.36%.
• PointCLIP 대비 개선: ModelNet10에서 +42.90%, ModelNet40에서 +40.44%, PB_T50_RS에서 +28.75%.
• ScanNet V2에서 제로샷 3D 검출은 AP 25가 18.97%와 AP 50가 11.53%를 달성한다.
• ShapeNetPart에서 제로샷 3D 파트 분할은 PointCLIP보다 평균 IoU(mIoU I)에서 +17.4%의 개선을 달성.
• 푸샷 결과는 최소한의 3D 학습으로도 강력한 성능을 보이며 ModelNet40에서 16-shot 정확도(예: 89.55%)로 완전 감독 기반에 근접한다.
• 변인 분석은 Realistic Projection과 3D 인식 GPT 프롬프팅이 이득에 있어 중요한 요인임을 보여준다.