[논문 리뷰] Learning Deformable Tetrahedral Meshes for 3D Reconstruction

Jun Gao, Wenzheng Chen외 5명|arXiv (Cornell University)|2020. 11. 03.

3D Shape Modeling and Analysis참고 문헌 55인용 수 49

한 줄 요약

DefTet은 점군 또는 단일 이미지로부터 직접 고충실도이면서 토폴로지적으로 유연한 테트라헤드럴 메시를 생성하기 위해 정점 위치와 테트로헤드럴 점유를 함께 최적화하는 변형 가능한 테트라헤드럴 메시 표현을 도입합니다. 이는 이전의 부피 기반 및 메쉬 기반 방법들에 비해 메모리 사용량이 더 작고 추론 속도가 더 빠르면서 품질이 동등하거나 더 높은 수준으로 달성됩니다.

ABSTRACT

3D shape representations that accommodate learning-based 3D reconstruction are an open problem in machine learning and computer graphics. Previous work on neural 3D reconstruction demonstrated benefits, but also limitations, of point cloud, voxel, surface mesh, and implicit function representations. We introduce Deformable Tetrahedral Meshes (DefTet) as a particular parameterization that utilizes volumetric tetrahedral meshes for the reconstruction problem. Unlike existing volumetric approaches, DefTet optimizes for both vertex placement and occupancy, and is differentiable with respect to standard 3D reconstruction loss functions. It is thus simultaneously high-precision, volumetric, and amenable to learning-based neural architectures. We show that it can represent arbitrary, complex topology, is both memory and computationally efficient, and can produce high-fidelity reconstructions with a significantly smaller grid size than alternative volumetric approaches. The predicted surfaces are also inherently defined as tetrahedral meshes, thus do not require post-processing. We demonstrate that DefTet matches or exceeds both the quality of the previous best approaches and the performance of the fastest ones. Our approach obtains high-quality tetrahedral meshes computed directly from noisy point clouds, and is the first to showcase high-quality 3D tet-mesh results using only a single image as input. Our project webpage: https://nv-tlabs.github.io/DefTet/

연구 동기 및 목표

• 학습 기반 3D 재구성에 임의의 토폴로지와 내부 용적을 지원하는 표현을 제시한다.
• 정점 위치와 테트로헤드럴 점유를 차별 가능 framework에서 공동 최적화하는 Deformable Tetrahedral Meshes (DefTet)를 제안한다.
• DefTet의 효과를 점군, 단일 이미지, 테트라헤드럴 메싱 벤치마크, 그리고 새로운 시점 합성에서 시연한다.
• DefTet이 직접적으로 테트라헤드럴 메시를 생성할 수 있음을 보여주고(후처리 없이) 기존의 부피 기반 방식보다 메모리/계산을 더 효율적으로 확장할 수 있음을 보인다.

제안 방법

• 단위를 정육면체의 고정된 초기 테트라헤드럴 분할을 QuarTet을 사용해 정의한다.
• 정점별 오프셋과 테트로헤드럴 점유를 예측해 메시를 변형시키고 내부/외부 영역을 분류한다.
• 이웃하는 테트로헤드럴 점유로부터 각 면의 표면 확률을 계산한다(식(2)).
• 점유, 변형, 표면 정렬( Recon3D, Recon2D, Laplacian, Equi-volume, AMIPS 등)을 결합하는 차별 가능 손실로 학습한다.
• 이미지만 있는 경우 DefTet을 2D로 투사하기 위해 차별 가능 렌더러를 사용한다(소프트 z-버퍼 유사 가시성 및 바리센트릭 보간을 통한 색상).
• 원시적인 3D 감독(3D의 경우 Occupancy BCE) 또는 2D 감독(2D의 경우 L1 이미지 손실)을 선택적으로 수행한다.
• 공유 면으로부터 테트로헤드럴 점유를 임계값으로 추론하고 표면 메쉬를 추출한다.

실험 결과

연구 질문

• RQ1 변형 가능하고 점유를 포함하는 테트로헤드럴 메쉬가 보셀 격자나 고정 토폴로지 메시에 비해 임의의 토폴로지와 높은 기하학적 세부 정보를 더 효율적으로 표현할 수 있는가?
• RQ2 노이즈가 있는 점군이나 단일 이미지로부터 heavy post-processing 없이 DefTet 표현을 엔드-투-엔드로 학습하는 것이 가능한가?
• RQ3 DefTet은 3D 감독, 2D 감독 및 차별 가능 렌더링 설정에서 재구성 품질과 속도에 얼마나 잘 수행되는가?
• RQ4 정합 및 점유 최적화의 공동 최적화가 메싱, 새로운 시점 합성, 다중 시점 재구성 등의 다운스트림 작업에 어떤 이점을 제공하는가?

주요 결과

• DefTet은 임의의 토폴로지를 표현할 수 있으며 동등한 부피 기반 접근법보다 더 작은 격자 크기로 높은 신뢰도 재구성을 제공한다.
• DefTet은 추론 시 후처리 없이 표면을 직접 테트로헤드럴 메시로 생성한다.
• DefTet은 이전에 가장 좋은 접근법의 품질과 같거나 우수하면서도 추론이 더 빠르며, 예를 들어 Occupancy Networks보다 크게 더 빠르다.
• DefTet은 노이즈가 있는 점군으로부터 고품질의 테트로헤드럴 메시를 시연하며 단일 이미지 3D 재구성에서도 테트로헤드럴 메시를 사용해 최초의 성과를 달성한다.
• 다중 시점 및 새로운 시점 맥락에서 DefTet은 Nerf 기반 방법들보다 수렴 속도가 빠르면서 다운스트림 작업(예: 물리 기반 시뮬레이션)에 사용할 수 있는 기하를 제공한다.
• 점군 및 이미지 입력 전반에 걸쳐 DefTet은 3D IoU와 Chamfer 기반 지표에서 경쟁력 있는 성능을 보이며 고해상도 voxel 격자에 비해 메모리 사용량이 크게 낮다.