[논문 리뷰] MeshSDF: Differentiable Iso-Surface Extraction

Edoardo Remelli, Artem Lukoianov외 5명|arXiv (Cornell University)|2020. 06. 06.

3D Shape Modeling and AnalysisEngineering참고 문헌 55인용 수 22

한 줄 요약

MeshSDF는 깊이 있는 부호 거리 함수(SDF)에서 메시 생성을 거쳐 전체적으로 역전파가 가능한 비가역적 표면 추출 방법을 도입하여, 기존의 Marching Cubes와 같은 알고리즘의 비가역성 문제를 해결한다. 암시적 필드에 대한 표면 샘플의 닫힌 형식의 기울기 표현을 유도함으로써 MeshSDF는 토폴로지 변화가 가능한 고해상도 메시 최적화를 가능하게 하여 단일 뷰 재구성 및 항공역학적 형상 설계 등의 작업에서 최신 기술보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

Geometric Deep Learning has recently made striking progress with the advent of continuous Deep Implicit Fields. They allow for detailed modeling of watertight surfaces of arbitrary topology while not relying on a 3D Euclidean grid, resulting in a learnable parameterization that is not limited in resolution. Unfortunately, these methods are often not suitable for applications that require an explicit mesh-based surface representation because converting an implicit field to such a representation relies on the Marching Cubes algorithm, which cannot be differentiated with respect to the underlying implicit field. In this work, we remove this limitation and introduce a differentiable way to produce explicit surface mesh representations from Deep Signed Distance Functions. Our key insight is that by reasoning on how implicit field perturbations impact local surface geometry, one can ultimately differentiate the 3D location of surface samples with respect to the underlying deep implicit field. We exploit this to define MeshSDF, an end-to-end differentiable mesh representation which can vary its topology. We use two different applications to validate our theoretical insight: Single-View Reconstruction via Differentiable Rendering and Physically-Driven Shape Optimization. In both cases our differentiable parameterization gives us an edge over state-of-the-art algorithms.

연구 동기 및 목표

• 깊이 있는 암시적 필드를 명시적 메시 표현으로 변환할 때 발생하는 Marching Cubes의 비가역성 문제를 해결하기 위해.
• 임의의 토폴로지로 가능한 명시적 표면 메시에 대한 종단 간 비가역적 최적화를 유지하면서도 토폴로지의 유연성과 고해상도를 보존하기 위해.
• 명시적 기하학이 필요한 애플리케이션, 예를 들어 비가역적 렌더링 및 CFD 기반 형상 최적화에서 비가역적 메시 파arameterization의 유용성을 입증하기 위해.
• 추출 알고리즘과 무관하게 암시적 필드에 대한 표면 샘플의 이론적으로 탄탄한 닫힌 형식의 기울기 표현을 제공하기 위해.
• SDF의 표현력과 메시 기반 표현의 호환성의 조합을 통해 복잡한 물리 시뮬레이션 및 비전 작업에서 강력하고 효율적인 최적화를 가능하게 하기 위해.

제안 방법

• 깊이 있는 SDF에 대한 3D 표면 샘플의 기울기의 닫힌 형식의 분석적 표현을 유도하여 메시 추출 과정을 통해 역전파가 가능하게 한다.
• 표면 등고선 추출 방법(예: Marching Cubes)을 비가역적으로 사용하여 메시를 생성한 후, 유도된 기울기 공식을 활용해 고유한 역전파 단계를 적용한다.
• 단일 뷰 재구성에서 비가역적 렌더링과 실루엣 기반 최적화를 가능하게 하기 위해 비가역적 래스터라이제이션 파이프라인을 활용한다.
• 형상 공간 내 최근접 이웃 잠재 코드 기반의 정규화 손실을 도입하여 최적화의 안정성 향상과 일반화 능력 향상을 도모한다.
• CFD 시뮬레이션에서 압력 항력 최소화와 같은 물리 기반 최적화에서 MeshSDF 파arameterization을 정규화 요소로 활용한다.
• 최적화에 Adam 최적화기를 사용하며, 다양한 작업에서 수렴성과 강건성을 확보하기 위해 하이퍼파ram터를 조정한다.

실험 결과

연구 질문

• RQ1 깊이 있는 SDF의 등고선 추출 과정을 비가역적으로 다룰 수 있을까? 이를 통해 비가역적 메시 표현을 생성할 수 있는가?
• RQ2 암시적 필드에 대한 표면 샘플의 닫힌 형식의 기울기 표현이 임의의 토폴로지로 가능한 메시 최적화를 종단 간으로 가능하게 하는가?
• RQ3 비가역적 렌더링을 사용하는 단일 뷰 3D 재구성에서 MeshSDF는 비가역적 메시 기반 방법보다 성능이 뛰어나게 되는가?
• RQ4 MeshSDF는 항공역학적 항력 최소화와 같은 물리 기반 형상 최적화에서 효과적인 정규화 요소로 기능할 수 있는가?
• RQ5 효율성과 정확도 측면에서 MeshSDF의 비가역성은 다른 비가역적 렌더링 또는 암시적 필드 방법과 비교해 어떻게 다른가?

주요 결과

• 단일 뷰 재구성에서 MeshSDF는 실루엣 L2 거리 0.004625를 달성하여, 동일 조건에서 Liu 등(2020)의 0.005973보다 뛰어난 성능을 보였다.
• 네트워크 쿼리 수를 898k(구형 추적)에서 266k로 줄여 기능 평가 수를 76% 감소시켰다.
• 1회 렌더링에 0.29초가 소요되어 Liu 등의 1.24초 대비 77% 빠른 속도를 기록했으며, 이는 삼각형의 병렬 래스터라이제이션 덕분이었다.
• CFD 기반 항공역학 최적화에서 MeshSDF는 자동차 형상을 압력 항력 최소화를 향해 정밀하게 개선하여 물리 기반 설계에서의 유용성을 입증했다.
• 고정된 토폴로지 대비 메시 최적화 중 토폴로지 변화가 가능하며, 다양한 초기 형상에 대해 강건성을 보였다.
• k=10 및 α=0.2 조건에서 잠재 공간 정규화를 적용하면 최적화의 안정성과 현실감이 향상되지만, 잠재 공간 내 局소 최적점 문제는 여전히 도전 과제로 남아 있다.