[논문 리뷰] Neural Volumetric Mesh Generator

Yan Zheng, Lemeng Wu외 4명|arXiv (Cornell University)|2022. 10. 06.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

이 논문은 신경체적 메쉬 생성기(Neural Volumetric Mesh Generator, NVMG)를 제안한다. NVMG는 두 단계로 구성된 확산 기반 생성 모델로, 먼저 고해상도 볼록체 형태를 합성한 후, 정규화 인식 최적화를 사용해 신경망 예측된 암묵 표면에 맞게 테트라헤드론 메쉬를 변형한다. 이 방법은 아티팩트가 없는 물리적으로 안정된 볼륨 메쉬를 생성하며, 표면 및 내부 구조의 높은 디테일을 유지한다. 무조건적 및 조건부 메쉬 생성 작업 모두에서 최신 기술을 능가한다.

ABSTRACT

Deep generative models have shown success in generating 3D shapes with different representations. In this work, we propose Neural Volumetric Mesh Generator(NVMG) which can generate novel and high-quality volumetric meshes. Unlike the previous 3D generative model for point cloud, voxel, and implicit surface, the volumetric mesh representation is a ready-to-use representation in industry with details on both the surface and interior. Generating this such highly-structured data thus brings a significant challenge. We first propose a diffusion-based generative model to tackle this problem by generating voxelized shapes with close-to-reality outlines and structures. We can simply obtain a tetrahedral mesh as a template with the voxelized shape. Further, we use a voxel-conditional neural network to predict the smooth implicit surface conditioned on the voxels, and progressively project the tetrahedral mesh to the predicted surface under regularizations. The regularization terms are carefully designed so that they can (1) get rid of the defects like flipping and high distortion; (2) force the regularity of the interior and surface structure during the deformation procedure for a high-quality final mesh. As shown in the experiments, our pipeline can generate high-quality artifact-free volumetric and surface meshes from random noise or a reference image without any post-processing. Compared with the state-of-the-art voxel-to-mesh deformation method, we show more robustness and better performance when taking generated voxels as input.

연구 동기 및 목표

• 기존 딥 러닝 생성 모델로는 어려운 노이즈 또는 이미지에서 직접 고품질의 물리적으로 타당한 볼륨 메쉬를 생성하는 데 도전한다.
• 변형 과정에서 발생하는 기하학적 결함(뒤집힘, 자기교차, 높은 왜곡 등)을 방지하기 위해 새로운 정규화 기법을 도입함으로써 메쉬 생성의 기하학적 결함 문제를 해결한다.
• 확산 기반 볼록체 합성과 신경 조건부 표면 예측, 최적화 기반 메쉬 변형을 결합하여 종단 간 생성을 실현한다.
• 후처리 없이 산업 응용(물리 시뮬레이션, 3D 편집 등)에 바로 사용 가능한 메쉬 표현을 제공한다.

제안 방법

• 확산 모델이 현실적인 구조와 윤곽을 가진 초기 볼록체 형태를 생성하여 메쉬 생성의 기초를 마련한다.
• 생성된 볼록체를 조건으로 하는 신경망이 부드러운 암묵 표면을 예측함으로써 기하학적 디테일 가이던스를 제공한다.
• 차별가능한 최적화 과정을 통해 테트라헤드론 메쉬 템플릿을 예측된 표면에 점진적으로 투영하는 메쉬 변형 파이프라인을 구현한다.
• 투영, 부드러움, 방향성 제약 등의 정규화 항목을 통합하여 뒤집힘을 방지하고 왜곡을 감소시키며 얇은 구조를 유지한다.
• 최적화 과정은 미분 가능하며 신경망 예측과 원활하게 통합되어 고해상도 메쉬 생성을 가능하게 한다.
• 노이즈에서의 무조건적 생성과 참조 이미지에서의 조건부 생성을 모두 지원하며, 볼록체 조작을 통한 인터랙티브 편집도 가능하다.

실험 결과

연구 질문

• RQ1 확산 기반 모델이 볼륨 메쉬 생성의 신뢰할 수 있는 기초가 되는 구조적 볼록체 형태를 효과적으로 생성할 수 있는가?
• RQ2 신경망 예측과 최적화를 어떻게 조합하여 표면 및 내부 디테일을 모두 갖춘 고품질의 아티팩트 없는 볼륨 메쉬를 생성할 수 있는가?
• RQ3 메쉬 변형 과정에서 뒤집힘과 왜곡 등의 기하학적 결함을 방지하는 데 가장 효과적인 정규화 전략은 무엇인가?
• RQ4 제안된 방법이 미세 기하학적 특징을 유지하면서도 조건부 이미지에서 메쉬 생성에 일반화될 수 있는가?
• RQ5 제안된 메쉬 변형 파이프라인은 기존의 볼록체에서 메쉬로의 변환 방법에 비해 안정성과 정밀도 측면에서 어떻게 비교되는가?

주요 결과

• NVMG는 이미지에서 메쉬로의 재구성에서 최신 기술을 능가하며, 의자에 대해 0.471, 테이블에 대해 0.342, 벤치에 대해 0.439의 카프먼 거리 기록을 달성하여 Pixel2Mesh, GEOMetrics, DeepMesh를 모두 능가한다.
• 절단 실험을 통해 강력한 투영 및 방향성 정규화가 뒤집힌 테트라헤드론과 왜곡된 삼각형을 크게 감소시켜 메쉬 품질을 향상시킴을 확인했다.
• 방향성 및 부드러움 항목의 포함으로 얇은 구조가 사라지는 것을 방지하여 물리적 타당성과 구조적 안정성을 향상시켰다.
• 후처리 없이 아티팩트 없는 볼륨 메쉬를 생성하며 표면 및 내부 기하학적 구조의 높은 정밀도를 유지한다.
• 사용자가 볼록체 표현을 편집하면 즉각적으로 고품질의 메쉬 업데이트가 이루어지며, 이는 프레임워크가 인터랙티브 3D 디자인에 적합함을 보여준다.
• 최적화 기반 변형 파이프라인은 특히 도전적인 형태 구성에서 기존의 볼록체에서 메쉬로의 변환 방법보다 더 높은 안정성을 보였다.