[논문 리뷰] Fine-grained Text and Image Guided Point Cloud Completion with CLIP Model

Wei Song, Jun Zhou외 4명|arXiv (Cornell University)|2023. 08. 17.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 CLIP 기반의 시각-언어 모델을 활용하여 세분화된 텍스트 및 이미지 모odal 정보를 융합함으로써 3D 형태 복원 성능을 향상시키는 새로운 포인트 클라우드 완성 프레임워크인 FTPNet을 제안한다. 다단계 융합 전략과 맞춤형 세분화된 텍스트 코퍼스를 도입함으로써, XMFNet 대비 Chamfer Distance를 19.68% 향상시키고 F-Score를 5.78% 향상시키는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper focuses on the recently popular task of point cloud completion guided by multimodal information. Although existing methods have achieved excellent performance by fusing auxiliary images, there are still some deficiencies, including the poor generalization ability of the model and insufficient fine-grained semantic information for extracted features. In this work, we propose a novel multimodal fusion network for point cloud completion, which can simultaneously fuse visual and textual information to predict the semantic and geometric characteristics of incomplete shapes effectively. Specifically, to overcome the lack of prior information caused by the small-scale dataset, we employ a pre-trained vision-language model that is trained with a large amount of image-text pairs. Therefore, the textual and visual encoders of this large-scale model have stronger generalization ability. Then, we propose a multi-stage feature fusion strategy to fuse the textual and visual features into the backbone network progressively. Meanwhile, to further explore the effectiveness of fine-grained text descriptions for point cloud completion, we also build a text corpus with fine-grained descriptions, which can provide richer geometric details for 3D shapes. The rich text descriptions can be used for training and evaluating our network. Extensive quantitative and qualitative experiments demonstrate the superior performance of our method compared to state-of-the-art point cloud completion networks.

연구 동기 및 목표

• 기존 다중모달 포인트 클라우드 완성 방법에서의 일반화 능력 부족과 세분화된 의미론적 이해 부족 문제를 해결하기 위해.
• 풍부한 세분화된 텍스트 기술을 보조 지침으로 통합함으로써 3D 형태 복원을 향상시키기 위해.
• 다중모달 훈련에서의 데이터 부족 문제를 해결하기 위해 대규모 이미지-텍스트 쌍을 활용한 사전 훈련된 CLIP 모델을 활용하기 위해.
• 완성 파이프라인에서 시각적, 텍스트적, 기하학적 특징을 효과적으로 통합하기 위한 다단계 특징 융합 전략을 설계하기 위해.
• 텍스트 기반 완성 모델의 훈련 및 평가를 지원하기 위해 다중 카테고리, 세분화된 텍스트 코퍼스를 구축하기 위해.

제안 방법

• 대규모 이미지-텍스트 데이터에서 강력한 일반화 능력을 갖춘 강력한 시각적 및 텍스트적 특징을 추출하기 위해 CLIP 시각-언어 모델을 사전 훈련된 인코더로 활용한다.
• 다양한 단계에서 텍스트 및 시각적 특징을 브레인크본 네트워크에 점진적으로 통합하는 다단계 특징 융합 전략을 제안한다.
• 다양한 카테고리의 3D 객체에 대해 기하학적 특징이 풍부한 세부적인 기술을 자동 생성하는 방법을 설계한다.
• 훈련 및 평가를 위해 3D 포인트 클라우드와 세분화된 텍스트 기술이 쌍으로 구성된 새로운 데이터셋 iPC-Text를 구축한다.
• 이중 브랜치 인코더 아키텍처를 적용: 하나는 CLIP에서 유래한 이미지 특징을 위한 것이고, 다른 하나는 CLIP에서 유래한 텍스트 특징을 위한 것으로, 모달 특성 간의 정렬을 위해 교차 어텐션 메커니즘을 사용한다.
• 융합된 다중모달 특징을 사용하여 불완전한 포인트 클라우드를 점진적으로 개선하는 프로그레시브 정밀화 네트워크를 적용함으로써 기하학적 정확도와 구조적 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 세분화된 텍스트 기술이 포인트 클라우드 완성 과정에서 불완전한 3D 형태의 의미론적 및 기하학적 이해를 크게 향상시킬 수 있는가?
• RQ2 특히 사전 훈련된 CLIP 모델을 통해 이미지와 텍스트의 다중모달 융합이 일반화 능력과 복원 품질을 어떻게 향상시키는가?
• RQ3 딥 러닝 파이프라인에서 시각적, 텍스트적, 기하학적 특징을 융합하는 데 있어 최적의 전략은 무엇인가?
• RQ4 텍스트 기술의 풍부함과 구체성이 복원된 3D 형태의 품질에 얼마나 큰 영향을 미치는가?
• RQ5 자기지도 학습 기반의 사전 훈련된 시각-언어 모델인 CLIP이 자원이 제한된 3D 완성 작업에 효과적으로 지식을 전이할 수 있는가?

주요 결과

• 제안된 FTPNet은 최신 기술 수준의 방법인 XMFNet 대비 Chamfer Distance에서 19.68% 향상되고 F-Score에서 5.78% 향상된다.
• iPC-Text 데이터셋은 CD와 F-Score에서 각각 1.86%와 0.48% 향상시키며, 세분화된 텍스트 기술의 가치를 입증한다.
• 다단계 융합 전략은 초기 또는 후기 융합보다 우수하며, 이중 단계 전략이 보존된 보완 정보를 효과적으로 통합함으로써 최고의 성능을 내는 것으로 나타났다.
• 풍부한 텍스트 기술은 특히 램프 줄기, 의자 다리, 테이블 가장자리와 같은 세밀한 기하학적 구조 복원에 있어 복원 품질을 크게 향상시킨다.
• 오해의 소지가 있거나 잘못된 텍스트 기술은 모델 성능을 떨어뜨리며, 이는 모델이 텍스트 입력의 의미 일관성에 크게 의존하고 있음을 확인한다.
• 수작업으로 정밀하게 작성된 텍스트 기술은 추가로 복원 정확도를 향상시키며, 이는 모델이 고품질 언어 지도 정보로부터 유의미한 이점을 얻을 수 있음을 시사한다.