[논문 리뷰] Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis

Tianchang Shen, Jun Gao외 3명|arXiv (Cornell University)|2021. 11. 08.

3D Shape Modeling and Analysis참고 문헌 66인용 수 105

한 줄 요약

DMTet은 변형 가능한 사면체 격자와 미분 가능 Marching Tetrahedra 층을 사용하여 거친 보셀을 고해상도 메시로 확장하는 심층 3D 조건부 생성기이며, 이전의 암묵적 또는 명시적 방법보다 위상 변화와 더 큰 디테일을 달성합니다.

ABSTRACT

We introduce DMTet, a deep 3D conditional generative model that can synthesize high-resolution 3D shapes using simple user guides such as coarse voxels. It marries the merits of implicit and explicit 3D representations by leveraging a novel hybrid 3D representation. Compared to the current implicit approaches, which are trained to regress the signed distance values, DMTet directly optimizes for the reconstructed surface, which enables us to synthesize finer geometric details with fewer artifacts. Unlike deep 3D generative models that directly generate explicit representations such as meshes, our model can synthesize shapes with arbitrary topology. The core of DMTet includes a deformable tetrahedral grid that encodes a discretized signed distance function and a differentiable marching tetrahedra layer that converts the implicit signed distance representation to the explicit surface mesh representation. This combination allows joint optimization of the surface geometry and topology as well as generation of the hierarchy of subdivisions using reconstruction and adversarial losses defined explicitly on the surface mesh. Our approach significantly outperforms existing work on conditional shape synthesis from coarse voxel inputs, trained on a dataset of complex 3D animal shapes. Project page: https://nv-tlabs.github.io/DMTet/.

연구 동기 및 목표

• 거친 보셀 형태(예: 마인크래프트)를 상세한 3D 자산으로 확장하여 고품질 3D 콘텐츠 제작의 대중화를 촉진한다.
• 임의의 위상을 지원하고 고해상도를 제공하는 하이브리드 암묵적-명시적 3D 표현을 도입한다.
• 표면 중심의 감독으로 엔드투엔드 학습을 가능하게 하여 기하학적 세부성과 현실감을 향상시킨다.

제안 방법

• 변형 가능한 사면체 격자에 정의된 부호 거리장(SDF)으로 형상을 표현한다.
• 암묵적 SDF를 명시적 표면 메시에 변환하기 위해 미분 가능 Marching Tetrahedra 층을 활용한다.
• 예측된 표면 주위에서 용적 세분화를 통해 사면체 격자를 확장하고 적응시켜 고해상도를 지원한다.
• 표면 매개변수화된 메시에서 학습 가능한 루프와 유사한 세분화를 사용해 표면을 정제한다.
• 표면 정렬(Chamfer 및 법선) 손실, 적대적 손실, SDF 및 변형에 대한 규제의 조합으로 학습한다.
• 판별기는 예측된 메시로부터 도출된 SDF에서 작동하여 현실성을 평가한다.

실험 결과

연구 질문

• RQ1 DMTet이 거친 입력으로부터 임의의 위상을 가진 고해상도 3D 형태를 재구성하고 합성할 수 있는가?
• RQ2 표면 중심 감독이 있는 미분 가능 MT 기반 파이프라인이 순수 암묵적 또는 명시적 방법에 비해 기하학적 디테일과 현실감을 향상시키는가?
• RQ3 용적 및 표면 세분화, 더불어 학습 가능한 표면 정제가 재구성 품질과 위상 유연성에 어떤 영향을 미치는가?
• RQ4 하이브리드 암묵적-명시적 표면 표현의 엔드투엔드 학습이 고해상도 3D 합성에 대해 이전 접근법보다 더 효율적이고 확장 가능한가?

주요 결과

• DMTet은 거친 보셀에서 고해상도 동물 형상 합성에서 ConvOnet 및 DECOR 기준선보다 여러 지표에서 현저히 우수하다.
• 적대적 손실을 포함하면 현실감과 미세 기하학적 디테일이 향상된다.
• 용적 세분화는 비행기, 램프와 같은 미세한 구조를 포착하는 데 도움을 주고, 표면 세분화는 양자화 감소 및 더 매끄러운 표면을 유도한다.
• DMTet은 추론 시 암묵적 방법 기저보다 빠른 속도를 보이며 경쟁력 있는/상대적으로 빠른 성능을 달성한다.
• 무효화 실험은 격자 변형과 SDF+표면 감독의 결합이 고품질 결과를 위한 결정적 요인임을 보여준다.