[논문 리뷰] GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

Jun Gao, Tianchang Shen외 7명|arXiv (Cornell University)|2022. 09. 22.

Computer Graphics and Visualization Techniques인용 수 187

한 줄 요약

GET3D는 2D 이미지로부터 임의의 토폴로지 textured 3D 메시를 직접 생성하며, 미분 가능한 표면 추출 및 렌더링을 사용하여 여러 범주에서 최첨단 3D 형태 및 질감 품질을 달성합니다.

ABSTRACT

As several industries are moving towards modeling massive 3D virtual worlds, the need for content creation tools that can scale in terms of the quantity, quality, and diversity of 3D content is becoming evident. In our work, we aim to train performant 3D generative models that synthesize textured meshes which can be directly consumed by 3D rendering engines, thus immediately usable in downstream applications. Prior works on 3D generative modeling either lack geometric details, are limited in the mesh topology they can produce, typically do not support textures, or utilize neural renderers in the synthesis process, which makes their use in common 3D software non-trivial. In this work, we introduce GET3D, a Generative model that directly generates Explicit Textured 3D meshes with complex topology, rich geometric details, and high-fidelity textures. We bridge recent success in the differentiable surface modeling, differentiable rendering as well as 2D Generative Adversarial Networks to train our model from 2D image collections. GET3D is able to generate high-quality 3D textured meshes, ranging from cars, chairs, animals, motorbikes and human characters to buildings, achieving significant improvements over previous methods.

연구 동기 및 목표

• 산업 전반의 고품질, 다양한 질감 메시에 대한 임의 토폴로지 생성을 가능하게 하여 확장 가능한 3D 콘텐츠 생성을 촉진한다.
• 명시적 3D 모양을 요구하지 않고 2D 이미지 데이터로부터 감독을 가능하게 한다.
• 표준 3D 그래픽 엔진(예: Blender, Maya)에서 바로 사용할 수 있는 출력을 제공한다.
• 다양한 물체 범주에서 기하학 및 질감의 최첨단 품질을 달성한다.

제안 방법

• 두 가지 가지 분기 생성기: 기하 브랜치는 DMTet와 marching tetrahedra를 통해 임의의 토폴로지를 가지는 미분 가능한 명시 표면(메시)을 출력한다.
• 텍스처 브랜치는 기하와 텍스처 잠재량에 조건화된 tri-plane 표현을 사용하여 텍스처 필드를 출력한다.
• 높은 해상도 래스터라이저를 통한 미분 가능한 렌더링으로 RGB 이미지 및 실루엣을 생성하여 2D 적대적 감독을 가능하게 한다.
• RGB 및 실루엣의 두 판별기로 대립적 학습을 수행하여 기하학과 텍스처 브랜치로 그래디언트를 전파한다.
• 인접 SDF 값에 대한 교차 엔트로피 정규화를 통해 보이지 않는 내부 면을 억제하고 메시 품질을 향상시킨다.
• 1024x1024까지의 고해상도 텍스처를 가능하게 하는 차분 가능한 렌서를 사용한 2D 이미지 감독 학습으로 학습한다.

실험 결과

연구 질문

• RQ1 단일 모델이 고정 템플릿에 의존하지 않고도 2D 이미지로부터 임의의 토폴로지를 가진 텍스처드 메시를 직접 생성할 수 있는가?
• RQ2 차분 가능한 표면 추출과 차분 가능한 렌더링이 2D 판별기로 학습될 때 고충실도 기하와 질감을 산출하는가?
• RQ3 다양하고 복잡한 기하학 및 질감을 가진 범주에서 GET3D의 성능은 3D-감독 및 3D-의식 기저와 비교하여 어떤가?
• RQ4 이 접근법을 재료 생성, 재조명, 텍스트 안내 3D 합성 등 하위 작업으로 확장할 수 있는가?

주요 결과

• GET3D는 자동차, 의자, 오토바이, 사람, 건물 등을 포함한 여러 범주에서 풍부한 기하학 및 질감 디테일을 가진 고품질 텍스처드 메시를 생성한다.
• DMTet 기반의 표면 추출 덕분에 임의의 토폴로지 및 유계(genus)를 지원한다.
• 미분 가능한 렌더링과 두 가지 특화된 판별기로 학습한 결과 다양한 기준선 대비 3D 형태 및 질감 충실도가 향상된다.
• 3D-감독 방법과 비교할 때 GET3D는 다양성 및 기하학적 디테일이 더 뛰어나다.
• GET3D는 시야 의상 조명 및 텍스트 안내 3D 합성에 CLIP를 활용한 재료 생성과 같은 다운스트림 응용을 가능하게 한다.