[논문 리뷰] Point-E: A System for Generating 3D Point Clouds from Complex Prompts

Alex Nichol, Heewoo Jun외 3명|arXiv (Cornell University)|2022. 12. 16.

3D Shape Modeling and Analysis인용 수 157

한 줄 요약

Point E는 프롬프트에서 합성 뷰를 렌더링하기 위해 텍스트-투-이미지 확산 모델을 결합하고, 그 뷰에 조건부로 색상된 3D 포인트 클라우드를 생성하는 두 번째 확산 모델을 사용하여 단일 GPU에서 1–2분 샘플링을 달성합니다.

ABSTRACT

While recent work on text-conditional 3D object generation has shown promising results, the state-of-the-art methods typically require multiple GPU-hours to produce a single sample. This is in stark contrast to state-of-the-art generative image models, which produce samples in a number of seconds or minutes. In this paper, we explore an alternative method for 3D object generation which produces 3D models in only 1-2 minutes on a single GPU. Our method first generates a single synthetic view using a text-to-image diffusion model, and then produces a 3D point cloud using a second diffusion model which conditions on the generated image. While our method still falls short of the state-of-the-art in terms of sample quality, it is one to two orders of magnitude faster to sample from, offering a practical trade-off for some use cases. We release our pre-trained point cloud diffusion models, as well as evaluation code and models, at https://github.com/openai/point-e.

연구 동기 및 목표

• 3D 콘텐츠 생성을 민주화하여 텍스트 조건부 3D 생성의 샘플링 시간을 단축합니다.
• 복잡한 프롬프트를 처리하기 위해 2단계 확산 접근 방식(텍스트-투-이미지 이후 이미지-조건부 3D)을 활용합니다.
• 색상 있는 3D 포인트 클라우드를 생성하고 평가 도구 및 사전 학습된 모델을 제공합니다.
• 단일 GPU에서 확산 기반 3D 생성을 실용적인 런타임으로 확장합니다.

제안 방법

• 텍스트 프롬프트를 사용하여 3D 렌더링에 대해 미세 조정된 GLIDE 모델로 합성 렌더 뷰를 생성합니다.
• 합성 뷰에 조건부로 저해상도 색상 포인트 클라우드(1,024 포인트)를 생성합니다(트랜스포머 기반 확산 모델 사용).
• 저해상도 클라우드와 합성 뷰를 기반으로 더 정밀한 색상 포인트 클라우드(4,096 포인트)로 업샘플합니다.
• 렌더링 뷰에서 변환된 수백만 개의 3D 모델 데이터 세트로 학습하여 4K 색상 포인트 클라우드를 생성합니다.
• 원시 텍스트만이 아닌 CLIP 정보 이미지 특징에 조건을 부여하여 포인트 클라우드 확산을 제어합니다.
• 평가를 위한 회귀 기반의 SDF 예측기와 marching cubes를 사용하여 포인트 클라우드로부터 메시를 렌더링합니다.

실험 결과

연구 질문

• RQ1 두 단계 확산 파이프라인(텍스트-이미지 후 이미지-조건부 3D 확산)이 열린 끝 프롬프트로부터 일관된 색상 3D 포인트 클라우드를 생성할 수 있습니까?
• RQ2 샘플링 속도와 최종 3D 품질 간의 트레이드오프가 최신 방법과 비교하여 어떻게 되나요?
• RQ3 CLIP 잠재 벡터의 그리드처럼 더 풍부한 이미지 표현으로 조건화하는 것이 3D 생성의 충실도와 다양성에 어떤 영향을 미칩니까?
• RQ4 복잡한 프롬프트에 대한 이미지 조건부 3D 확산의 한계와 실패 모드는 무엇입니까?

주요 결과

• Point⋅E는 텍스트 프롬프트에 조건부로 다양하고 복잡한 색상 3D 포인트 클라우드를 생성할 수 있습니다.
• 모델 규모를 키우고 더 풍부한 이미지 조건화를 적용하면 CLIP R-Precision 및 P-FID/ P-IS 지표가 개선됩니다.
• Point⋅E는 일부 이전 방법보다 훨씬 빠른 샘플링(단일 GPU에서 1–2분)을 달성하나 피크 품질에 대한 트레이드오프가 있습니다.
• 정성적 결과는 조건화 이미지의 객체 형태 오해나 가려진 부분으로 인한 일부 실패 모드를 보여줍니다.