[논문 리뷰] Neural Mesh Flow: 3D Manifold Mesh Generation via Diffeomorphic Flows

Kunal Gupta, Manmohan Chandraker|arXiv (Cornell University)|2020. 07. 21.

3D Shape Modeling and Analysis참고 문헌 59인용 수 4

한 줄 요약

Neural Mesh Flow (NMF)는 Neural ODE를 사용하여 구형 템플릿에서 미분형 유동을 학습함으로써 2D 이미지 또는 점군에서 직접 고품질의 두 개의 다면체 3D 메시를 생성하는 딥 생성 모델이다. 이 방법은 구성상 다면체성을 보장하여 후처리 없이 渲染, 시뮬레이션, 3D 프린팅에 적합한 기하 정확성과 물리적 실현 가능성을 이전 방법들보다 뛰어나게 구현한다.

ABSTRACT

Meshes are important representations of physical 3D entities in the virtual world. Applications like rendering, simulations and 3D printing require meshes to be manifold so that they can interact with the world like the real objects they represent. Prior methods generate meshes with great geometric accuracy but poor manifoldness. In this work, we propose Neural Mesh Flow (NMF) to generate two-manifold meshes for genus-0 shapes. Specifically, NMF is a shape auto-encoder consisting of several Neural Ordinary Differential Equation (NODE)[1] blocks that learn accurate mesh geometry by progressively deforming a spherical mesh. Training NMF is simpler compared to state-of-the-art methods since it does not require any explicit mesh-based regularization. Our experiments demonstrate that NMF facilitates several applications such as single-view mesh reconstruction, global shape parameterization, texture mapping, shape deformation and correspondence. Importantly, we demonstrate that manifold meshes generated using NMF are better-suited for physically-based rendering and simulation. Code and data are released.

연구 동기 및 목표

• 최신 3D 메시 생성 기법에서 다면체성의 부족을 해결하여 물리 기반 시뮬레이션 및 3D 프린팅 응용에서의 활용을 방해하는 문제를 해결한다.
• 비다면체 결함을 수정하기 위해 수동 후처리가 필요한 기존 메시 생성 기법의 한계를 극복한다.
• 다면체성의 수학적 성질을 활용한 미분형 유동의 특성을 통해 메시 변형 중 다면체 성질을 유지하는 딥 러닝 프레임워크를 개발한다.
• 기하 정확성과 위상적 타당성이 모두 확보된 엔드 투 엔드로 가능한, 미분 가능한 메시 생성을 가능하게 하여 실세계 응용에 적합하게 한다.
• 다면체성이 3D 메시 생성에서 중요한데도 불구하고 이전에는 간과되었던 성질임을 입증한다. 특히 후속 물리 응용에서의 중요성을 강조한다.

제안 방법

• Neural Ordinary Differential Equations (NODEs)를 사용하여 성질이 0인 구형 템플릿 메시에서 목표 형태로의 다면체 유동으로 메시 생성 과정을 모델링한다.
• 인스턴스 정규화를 통한 NODE 기반 변형 블록을 다수 사용하여 다양한 3D 형태 카테고리에 일반화할 수 있도록 한다.
• 특히 방향 보존성과 부드러운 역가능성이라는 특성 덕분에 유도되는 내재적 성질을 통해 다면체성을 보장하며, 명시적 정규화를 사용하지 않는다.
• 기하 정확성과 일관된 표면 방향을 확보하기 위해 Chamfer 거리 손실과 노멀 일致성 손실의 조합으로 모델을 훈련시킨다.
• 생성된 메시의 자기 교차를 줄이기 위해 후처리로 라플라시안 스무딩을 적용하여 교차 없는 품질을 향상시킨다.
• 모든 다면체 제약 조건(모서리, 정점, 면, 교차 조건)을 충족시킴으로써 단일 연결, 교차 없고 위상적으로 일관된 최종 메시를 구성한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 후처리 없이 기하 정확성과 위상적 다면체성을 동시에 확보한 3D 메시를 생성할 수 있는가?
• RQ2 템플릿 메시에서 유도하는 다면체 유동이 변형 과정에서 다면체성을 유지할 수 있으며, 이를 엔드 투 엔드 메시 생성에 활용할 수 있는가?
• RQ3 다면체성이 물리 기반 시뮬레이션, 렌더링, 3D 프린팅과 같은 후속 응용의 성능에 어떤 영향을 미치는가?
• RQ4 단일 아키텍처가 다양한 3D 형태 카테고리에 걸쳐 높은 기하 정확성과 위상 정확성을 유지하면서 일반화할 수 있는가?
• RQ5 NMF는 OccNet과 같은 암묵적 표현 기반 접근법에 비해 다면체성, 기하 정확성, 추론 효율성 측면에서 어떻게 비교되는가?

주요 결과

• NMF는 단일 시각 재구성에서 Chamfer-L2 손실 7.82를 기록하여 최고의 베이스라인인 OccNet-3(8.33)를 초월하여 기하 정확성이 뛰어나다는 것을 입증한다.
• NMF는 비다면체 정점과 모서리를 전혀 가지지 않아(NM-Vertices: 0.00, NM-Edges: 0.00) 구성상 완벽한 위상 일관성을 보여준다.
• 메시 생성 결과로 비다면체 면은 평균 0.83개, 자기 교차는 0.12개로 나타나 OccNet-3보다 다면체성 지표에서 뚜렷한 우월성을 보였다.
• NMF가 생성한 메시는 수리 없이도 직접 3D 프린팅이 가능하고 물리 기반 시뮬레이션에 적합함을 3D 프린팅 및 시뮬레이션 결과로 검증하였다.
• NMF로 생성된 메시를 사용한 시뮬레이션 결과는 진짜 값에 가장 가까운 물리적 거동를 보였으며, MeshRCNN는 비다면체 결함으로 인해 과도하게 튀는 현상을 보였다.
• 라플라시안 스무딩을 적용한 NMF는 자기 교차를 0.00으로 줄였고, 높은 노멀 일치성(0.837)과 경쟁 가능한 추론 시간(292ms)을 유지하였다.