[논문 리뷰] DeepMesh: Differentiable Iso-Surface Extraction

Benoît Guillard, Edoardo Remelli외 5명|arXiv (Cornell University)|2021. 06. 20.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

DeepMesh는 딥 임플리시트 필드에서 명시적 3D 표면 메시를 추출하기 위한 엔드 투 엔드 미분 가능한 방법을 제안한다. 이는 이소표면 추출을 통해 기울기 기반 최적화를 가능하게 하며, 임플리시트 필드에 대한 표면 샘플의 닫힌 형식의 도함수를 유도함으로써 Marching Cubes의 비미분 가능성 문제를 해결한다. 이로 인해 다양한 해상도와 임의의 토폴로지에서 작동하는 기울기 기반 渲染 및 형상 최적화 등의 응용이 가능해진다.

ABSTRACT

Geometric Deep Learning has recently made striking progress with the advent of continuous deep implicit fields. They allow for detailed modeling of watertight surfaces of arbitrary topology while not relying on a 3D Euclidean grid, resulting in a learnable parameterization that is unlimited in resolution. Unfortunately, these methods are often unsuitable for applications that require an explicit mesh-based surface representation because converting an implicit field to such a representation relies on the Marching Cubes algorithm, which cannot be differentiated with respect to the underlying implicit field. In this work, we remove this limitation and introduce a differentiable way to produce explicit surface mesh representations from Deep Implicit Fields. Our key insight is that by reasoning on how implicit field perturbations impact local surface geometry, one can ultimately differentiate the 3D location of surface samples with respect to the underlying deep implicit field. We exploit this to define DeepMesh - an end-to-end differentiable mesh representation that can vary its topology. We validate our theoretical insight through several applications: Single view 3D Reconstruction via Differentiable Rendering, Physically-Driven Shape Optimization, Full Scene 3D Reconstruction from Scans and End-to-End Training. In all cases our end-to-end differentiable parameterization gives us an edge over state-of-the-art algorithms.

연구 동기 및 목표

• 딥 임플리시트 필드에 적용될 때 표준 이소표면 추출 방법(예: Marching Cubes)의 비미분 가능성 문제를 해결하기 위해.
• 연속적인 임플리시트 함수에서 유도된 명시적 메시 표현의 엔드 투 엔드 기울기 기반 최적화를 가능하게 하기 위해.
• CFD 시뮬레이션, 물리 기반 렌더링, 형상 최적화와 같은 명시적 표면 기하 구조가 필요한 응용 분야를 지원하면서도, 임플리시트 필드의 해상도 및 토폴로지 유연성을 유지하기 위해.
• 서드 디스턴스 함수를 넘어서 일반적인 임플리시트 함수, 예를 들어 오브스티파시 필드까지 기울기 기반 메시 추출을 확장하기 위해.
• 기울기 기반 메시 추출이 비기울기 또는 임플리시트 전용 기준선 대비 후행 작업에서 향상된 성능을 보임을 입증하기 위해.

제안 방법

• 다변수 미적분학을 사용하여, 이소표면 추출 알고리즘과 무관하게, 기저 임플리시트 필드에 대한 3D 표면 샘플의 닫힌 형식의 도함수를 유도한다.
• 비기울기 이소표면 추출 방법(예: Marching Cubes)을 사용해 메시를 생성한 후, 유도된 분석적 도함수를 활용해 표면 샘플을 통해 기울기 역전파를 수행한다.
• 계산 오버헤드를 줄이기 위해 이소표면 추출을 코arse-to-fine 전략으로 구현하여 고해상도 그리드에서의 효율적 훈련을 가능하게 한다.
• 기울기 기반 렌더링 및 Chamfer 거리 최적화와 같은 엔드 투 엔드 학습 파이프라인에 기울기 기반 메시 추출을 통합한다.
• 고정 그리드 또는 고정 토폴로지 제약 조건을 피하기 위해 임의의 메시 토폴로지와 무한한 해상도를 지원한다.
• 서드 디스턴스 함수뿐 아니라 오브스티파시 필드까지 적용 가능하게 하여, 임플리시트 표현 유형에 대한 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 임의의 토폴로지와 무한한 해상도를 유지하면서도, 딥 임플리시트 필드에서 엔드 투 엔드 기울기 기반 이소표면 추출을 달성할 수 있는가?
• RQ2 이소표면 추출 알고리즘이 비기울기일지라도, 임플리시트 필드의 변화에 대한 표면 샘플을 분석적으로 도함수로 표현할 수 있는가?
• RQ3 기울기 기반 메시 추출은 3D 복원 및 형상 최적화와 같은 명시적 표면 표현이 필요한 작업에서 성능 향상에 기여하는가?
• RQ4 서드 디스턴스 함수를 넘어서 오브스티파시 필드와 같은 일반적인 임플리시트 함수로도 기울기 기반 메시 추출을 확장할 수 있는가?
• RQ5 기본적인 임플리시트 필드 값에 대한 직접 감독 대비 기울기 기반 메시 추출의 계산 오버헤드는 어느 정도인가?

주요 결과

• DeepMesh는 음영 거리 손실 외에도 Chamfer 거리를 최소화함으로써, 램프와 같은 얇은 구조를 가진 복잡한 형태의 3D 복원 품질을 크게 향상시킨다.
• ShapeNet 램프 카테고리에서 비기울기 기준선 대비 Chamfer 거리 오차를 최대 30% 감소시켜 더 나은 표면 정렬을 입증한다.
• 최적화된 이소표면 추출을 통해 V100 GPU에서 DeepMesh의 순방향 전파 시간은 29ms로 단축되어, 기존의 785ms(비효율적)에서 실용적인 수준으로 오버헤드를 감소시켰다.
• 역전파 단계에서 직접 임플리시트 필드 값 감독보다 약간 더 빠르며, 전체 부피가 아닌 표면 점들만을 통해 기울기를 역전파하기 때문이다.
• DeepMesh는 단일 뷰 3D 복원 및 항공역학적 형상 최적화에 대해 엔드 투 엔드 훈련을 성공적으로 수행하며, 비기울기 메시 추출에 의존하는 최신 기술들을 능가한다.
• 이 방법은 고정 그리드나 메시 구조에 제한되지 않으며, 임의의 메시 토폴로지를 지원하여 최적화 과정에서 동적 토폴로지 변화도 가능하게 한다.