[논문 리뷰] MeshDiffusion: Score-based Generative 3D Mesh Modeling

Zhen Liu, Feng Yao외 4명|arXiv (Cornell University)|2023. 03. 14.

3D Shape Modeling and Analysis인용 수 29

한 줄 요약

MeshDiffusion은 변형 가능한 사면체 그리드에 확산 모델을 직접 학습시켜 고품질 3D 메쉬를 생성하고, 간단하고 안정적인 파이프라인으로 무조건 및 조건부 메쉬 생성을 가능하게 한다.

ABSTRACT

We consider the task of generating realistic 3D shapes, which is useful for a variety of applications such as automatic scene generation and physical simulation. Compared to other 3D representations like voxels and point clouds, meshes are more desirable in practice, because (1) they enable easy and arbitrary manipulation of shapes for relighting and simulation, and (2) they can fully leverage the power of modern graphics pipelines which are mostly optimized for meshes. Previous scalable methods for generating meshes typically rely on sub-optimal post-processing, and they tend to produce overly-smooth or noisy surfaces without fine-grained geometric details. To overcome these shortcomings, we take advantage of the graph structure of meshes and use a simple yet very effective generative modeling method to generate 3D meshes. Specifically, we represent meshes with deformable tetrahedral grids, and then train a diffusion model on this direct parametrization. We demonstrate the effectiveness of our model on multiple generative tasks.

연구 동기 및 목표

• 확산 모델이 변형 가능한 사면체 그리드에서 직접 고품질 3D 메쉬를 생성할 수 있음을 시연한다.
• uniform tetrahedral grid에서 3D-CNN U-Net을 활용한 간단하고 안정적인 학습 및 추론 파이프라인을 제공한다.
• 무조건 생성, 단일 뷰 RGBD에서의 조건부 생성, 그리고 3D 메쉬의 보간을 가능하게 한다.
• 정규화로 SDF 기반으로 각 정점 조건화를 통해 확산 기반 메쉬 생성을 안정화시킴을 보인다.

제안 방법

• 메쉬를 변형 가능한 사면체 그리드(DMTet)로 표현하고 정점 변형 및 SDF 값을 직접 모델링한다.
• 공간 선행 정보를 활용하기 위해 증강된 입방 격자 구조를 가진 3D U-Net 확산 모델을 사면체 격자에서 학습시킨다.
• SDF 값을 ±1로 정규화하고 연속 변형에서 확산 모델을 학습시키며, 메쉬 표면의 안정화를 위한 두 단계 최적화를 적용한다.
• 렌더링 가이드 목적 L_Render(image, depth, Chamfer, penalties)을 통해 메쉬 생성과 미분가능 렌더링을 연결한다.
• 추론 시 역 SDE를 풀어 메쉬를 생성하고 선택적으로 SDF 부호를 정제하며 조건부 생성 단계를 수행한다.
• 단일 RGBD 뷰에서의 조건부 생성을 두 단계로 가능하게 한다: 뷰에 맞춰 사면체 격자를 맞추고 확산 모델로 보완한다.

실험 결과

연구 질문

• RQ1 확산 모델이 변형 가능한 사면체 격자에서 직접 고품질 3D 메쉬를 효과적으로 생성할 수 있는가?
• RQ2 SDF 값을 정규화하고 두 단계 학습 방식을 사용하는 것이 메쉬 생성의 안정성과 미세 기하학적 디테일 보존에 도움이 되는가?
• RQ3 무조건 생성, 단일 뷰에서의 조건부 생성 및 보간 작업에서 MeshDiffusion은 얼마나 잘 수행하는가?
• RQ4 제안된 DMTet 기반 매개변수화 및 3D CNN 아키텍처가 학습 안정성 및 표면 디테일 충실도에 미치는 영향은 무엇인가?

주요 결과

• MeshDiffusion은 고품질의 선명하고 디테일이 풍부한 메쉬를 생성하고, SDF 기반 기준선보다 미세 기하학적 디테일을 더 잘 보존한다는 질적 비교에서 확인된다.
• 정량적 지표(예: 점구름 거리 및 라이트필드 거리)가 ShapeNet 카테고리 전반에서 기준선에 비해 경쟁력 있거나 우수한 결과를 보인다.
• SDF 정규화 전략과 간단하고 비 암묵적(non-amortized) 두 단계 학습 방식은 안정성을 높이고 marching tetrahedra로 인한 인공물을 줄인다.
• 단일 RGBD 뷰에서의 조건부 생성은 합리적인 형태 보완을 보여주며 확산 중 약간의 정점 업데이트를 허용한다.
• 삭감 연구에서 SDF 정규화 및 격자 기반 확산 설계가 성능에 유의하게 기여함을 시사한다.