[논문 리뷰] Latent-NeRF for Shape-Guided Generation of 3D Shapes and Textures

Gal Metzer, Elad Richardson외 3명|arXiv (Cornell University)|2022. 11. 14.

Computer Graphics and Visualization Techniques인용 수 9

한 줄 요약

이 논문은 잠재 확산 모델(LDM)을 네루프(NeRF)의 잠재공간에서 직접 작동하도록 적응시켜 각 단계에서 RGB에서 잠재공간으로의 인코딩을 피함으로써 텍스트 및 형상 유도 3D 생성을 가능하게 하는 Latent-NeRF를 제안한다. Sketch-Shape 유도와 Latent-Paint를 통해 높은 품질의 제어 가능한 3D 형상 및 텍스처 합성을 실현하며, 효율적인 잠재공간 최적화를 통해 고해상도의 제어 가능한 3D 형상 및 텍스처 합성 성능을 달성한다.

ABSTRACT

Text-guided image generation has progressed rapidly in recent years, inspiring major breakthroughs in text-guided shape generation. Recently, it has been shown that using score distillation, one can successfully text-guide a NeRF model to generate a 3D object. We adapt the score distillation to the publicly available, and computationally efficient, Latent Diffusion Models, which apply the entire diffusion process in a compact latent space of a pretrained autoencoder. As NeRFs operate in image space, a naive solution for guiding them with latent score distillation would require encoding to the latent space at each guidance step. Instead, we propose to bring the NeRF to the latent space, resulting in a Latent-NeRF. Analyzing our Latent-NeRF, we show that while Text-to-3D models can generate impressive results, they are inherently unconstrained and may lack the ability to guide or enforce a specific 3D structure. To assist and direct the 3D generation, we propose to guide our Latent-NeRF using a Sketch-Shape: an abstract geometry that defines the coarse structure of the desired object. Then, we present means to integrate such a constraint directly into a Latent-NeRF. This unique combination of text and shape guidance allows for increased control over the generation process. We also show that latent score distillation can be successfully applied directly on 3D meshes. This allows for generating high-quality textures on a given geometry. Our experiments validate the power of our different forms of guidance and the efficiency of using latent rendering. Implementation is available at https://github.com/eladrich/latent-nerf

연구 동기 및 목표

• 텍스트 유도 3D 생성에서 구조적 제어의 부족으로 인해 발생하는 제약 없거나 일관성 없는 기하학적 형태 문제를 해결하기 위해.
• NeRF에 대한 점수 확산을 잠재확산모델(LDM)에 적응시켜 효율적이고 고품질의 3D 형상 및 텍스처 생성을 가능하게 하기 위해.
• 사용자가 거시적 3D 기하학을 구조적 사전지식으로 정의할 수 있도록 허용하는 Sketch-Shape 유도를 도입하기 위해.
• 렌더링된 메시를 통해 직접 잠재공간의 텍스처맵에 확산모델 기울기를 백프로파게이션함으로써, 명시적 3D 메시에 대한 텍스처 생성을 가능하게 하기 위해.
• 잠재공간 렌더링 및 유도가 픽셀공간 기반 베이스라인 대비 품질과 효율성에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 사전학습된 오토인코더의 잠재공간에서 직접 훈련 및 최적화되는 NeRF 모델인 Latent-NeRF를 제안하며, 각 단계에서의 RGB에서 잠재공간으로의 인코딩을 제거한다.
• 2D LDM의 점수 확산을 확장하여 잠재공간에서 NeRF 최적화를 유도함으로써, 높은 효율성과 품질을 갖춘 텍스트 기반 3D 생성을 가능하게 한다.
• 최적화 중에 부드러운 점유도 제약을 적용함으로써 Sketch-Shape 유도를 도입하며, 거시적 3D 형상을 구조적 사전지식으로 사용한다.
• 텍스처맵을 잠재공간에 표현하고, 렌더링된 메시를 통해 직접 확산모델 기울기를 텍스처맵으로 백프로파게이션함으로써 Latent-Paint를 구현한다.
• 약간의 학습 가능한 선형층을 사용하여 훈련된 Latent-NeRF를 RGB NeRF로 변환할 수 있도록 하며, 이는 초기화 단계에서 근사적인 잠재공간에서 RGB로의 매핑을 기반으로 한다.
• 필요에 따라 XAtlas를 사용하여 자동으로 UV 매핑을 수행하며, UV 매핑 및 면별 잠재공간 텍스처 최적화를 모두 지원한다.

실험 결과

연구 질문

• RQ1 2D 잠재확산모델에서 유도된 점수 확산이 잠재공간에서 NeRF 기반 3D 생성을 효과적으로 유도할 수 있는가?
• RQ2 Sketch-Shape 유도가 텍스트 기반 3D 생성에서 구조적 일관성과 제어력을 어떻게 향상시키는가?
• RQ3 잠재공간 텍스처 생성(Latent-Paint)이 확산모델 기반 유도를 통해 명시적 3D 메시에 고해상도의 정밀한 텍스처를 생성할 수 있는가?
• RQ4 잠재공간에서의 운영이 픽셀공간 최적화 대비 품질과 효율성에서 뚜렷한 향상을 이끌 수 있는가?
• RQ5 텍스트 및 형상 유도의 조합이 얼마나 더 일관성 있고 의미적으로 일치하는 3D 형상을 생성할 수 있는가?

주요 결과

• Latent-NeRF는 반복적인 잠재공간 인코딩을 피함으로써 효율적이고 고품질의 3D 생성을 가능하게 하며, 계산 비용을 감소시키면서도 성능을 유지한다.
• Sketch-Shape 유도를 통해 사용자는 거시적 기하학을 정의할 수 있으며, 부드러운 제약 강도(σS)를 조절함으로써 엄격한 준엄에서 자유형으로의 진화까지 제어할 수 있다.
• σS = 0.05일 때 생성된 형상은 조건부 Sketch-Shape와 밀도 있게 일치하며, σS를 1.5로 증가시키면 기하학적 이탈이 뚜렷하게 발생함을 보여주며, 유연성 조절이 가능함을 입증한다.
• Latent-Paint는 Tango 및 CLIPMesh와 같은 이전 방법보다 더 정밀하고 세밀한 텍스처를 생성하며, UV 매핑 여부에 관계없이 복잡한 형상에서도 뛰어난 성능을 발휘한다.
• 이 방법은 다양한 프롬프트와 입력 기하학적 형태, 복잡한 메시(레오파드 무늬가 있는 물고기 등)를 포함하여 다양하고 고해상도의 3D 형상 및 텍스처를 성공적으로 생성한다.
• 이 방법은 Latent-NeRF에서 RGB NeRF로의 변환을 지원하여, 조명 처리나 추가적인 RGB 확산 기반 유도를 통한 향후 정밀 조정이 가능하다.