[논문 리뷰] DiffPoint: Single and Multi-view Point Cloud Reconstruction with ViT Based Diffusion Model

Yu Feng, Xing Shi외 2명|arXiv (Cornell University)|2024. 02. 17.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

DiffPoint는 ViT 백본과 확산 모델을 결합하여 단일 또는 다중 이미지로 고충실도 3D 포인트 클라우드를 재구성하고 ShapeNet 및 OBJAVERSE-LVIS에서 최첨단 성능을 달성합니다.

ABSTRACT

As the task of 2D-to-3D reconstruction has gained significant attention in various real-world scenarios, it becomes crucial to be able to generate high-quality point clouds. Despite the recent success of deep learning models in generating point clouds, there are still challenges in producing high-fidelity results due to the disparities between images and point clouds. While vision transformers (ViT) and diffusion models have shown promise in various vision tasks, their benefits for reconstructing point clouds from images have not been demonstrated yet. In this paper, we first propose a neat and powerful architecture called DiffPoint that combines ViT and diffusion models for the task of point cloud reconstruction. At each diffusion step, we divide the noisy point clouds into irregular patches. Then, using a standard ViT backbone that treats all inputs as tokens (including time information, image embeddings, and noisy patches), we train our model to predict target points based on input images. We evaluate DiffPoint on both single-view and multi-view reconstruction tasks and achieve state-of-the-art results. Additionally, we introduce a unified and flexible feature fusion module for aggregating image features from single or multiple input images. Furthermore, our work demonstrates the feasibility of applying unified architectures across languages and images to improve 3D reconstruction tasks.

연구 동기 및 목표

• 이미지와 포인트 클라우드 간의 향상된 특징 융합으로 2D-에서 3D 재구성을 촉진한다.
• 불규칙한 3D 패치를 토큰으로 처리하는 ViT 기반 확산 아키텍처를 개발한다.
• 하나의 프레임워크로 단일 뷰 및 다중 뷰 포인트 클라우드 재구성을 가능하게 한다.
• 복잡한 실제 데이터(OBJAVERSE-LVIS)에 대한 강한 일반화 성능을 보여준다.

제안 방법

• 입력값들(시간, 이미지 임베딩, 그리고 노이즈가 섞인 포인트 패치)을 ViT 백본 내의 토큰으로 취급한다.
• 노이즈가 섞인 포인트 클라우드를 FPS와 KNN로 불규칙한 패치로 분할한 다음, 이 패치를 포인트넷으로 인코딩하여 패치 토큰을 생성한다.
• 입력 이미지를 CLIP로 인코딩하고 자기 주의 기반 모듈로 다중 뷰 특징을 집계한다.
• 역과정을 통해 X0를 예측하는 ground-truth 포인트 클라우드와 Chamfer 거리를 손실로 사용하는 확산 모델을 학습한다.
• 단일 뷰 및 다중 뷰 재구성 작업을 모두 지원하는 통합 다중 특징 집계 모듈을 사용한다.

실험 결과

연구 질문

• RQ1 ViT 기반 확산 모델이 이미지 특징과 노이즈 포인트 패치를 효과적으로 융합하여 2D 이미지로부터 정확한 3D 포인트 클라우드를 재구성할 수 있을까?
• RQ2 통합 특징 집계가 단일 뷰와 다중 뷰 재구성 모두에서 경쟁력 있는 성능을 가능하게 할까?
• RQ3 표준 벤치마크(ShapeNet)와 실제 데이터셋(OBJAVERSE-LVIS)에서 DiffPoint의 성능은 어떠한가?
• RQ4 위치 임베딩과 다중 특징 집계 모듈이 재구성 품질에 미치는 영향은 무엇인가?

주요 결과

• DiffPoint는 ShapeNet에서 단일 뷰와 다중 뷰 3D 재구성 모두에 대해 최첨단 성능을 달성한다.
• 통합 특징 융합 모듈은 단일 뷰 및 다중 뷰 이미지 특징을 효과적으로 집계하여 일관된 재구성을 제공한다.
• DiffPoint-M은 복잡한 OBJAVERSE-LVIS 데이터셋에 강한 일반화를 보인다.
• DiffPoint-S는 단일 뷰 설정에서 다른 포인트 기반 확산 모델 및 간단한 ViT 기반 베이스라인보다 우수하다.
• 소실 실험은 다중 특징 집계 모듈이 성능을 향상시키고 위치 임베딩은 제한적이지만 긍정적인 영향을 미친다는 것을 보여준다.