[논문 리뷰] DUDE: Deep Unsigned Distance Embeddings for Hi-Fidelity Representation of Complex 3D Surfaces

Rahul Venkatesh, Sarthak Sharma외 3명|arXiv (Cornell University)|2020. 11. 04.

3D Shape Modeling and Analysis참고 문헌 28인용 수 11

한 줄 요약

DUDE는 비밀도 거리 필드(uDF)와 법선 벡터 필드(nVF)를 기반으로 한 딥러닝 기반 3D 형상 표현을 제안하여, 높은 정밀도로 개방형 및 폐쇄형 형상을 모두 모델링한다. 기존 방법들이 밀도가 높은 메시가 필요로 하였던 것과 달리, DUDE는 노이즈가 있는 삼각형 샘플에서 직접 학습하여, DeepSDF 및 SAL과 같은 최신 기술보다도 복잡한 개방형 및 위상적으로 복잡한 표면을 더 정확한 법선과 더 적은 아티팩트로 복원한다.

ABSTRACT

High fidelity representation of shapes with arbitrary topology is an important problem for a variety of vision and graphics applications. Owing to their limited resolution, classical discrete shape representations using point clouds, voxels and meshes produce low quality results when used in these applications. Several implicit 3D shape representation approaches using deep neural networks have been proposed leading to significant improvements in both quality of representations as well as the impact on downstream applications. However, these methods can only be used to represent topologically closed shapes which greatly limits the class of shapes that they can represent. As a consequence, they also often require clean, watertight meshes for training. In this work, we propose DUDE - a Deep Unsigned Distance Embedding method which alleviates both of these shortcomings. DUDE is a disentangled shape representation that utilizes an unsigned distance field (uDF) to represent proximity to a surface, and a normal vector field (nVF) to represent surface orientation. We show that a combination of these two (uDF+nVF) can be used to learn high fidelity representations for arbitrary open/closed shapes. As opposed to prior work such as DeepSDF, our shape representations can be directly learnt from noisy triangle soups, and do not need watertight meshes. Additionally, we propose novel algorithms for extracting and rendering iso-surfaces from the learnt representations. We validate DUDE on benchmark 3D datasets and demonstrate that it produces significant improvements over the state of the art.

연구 동기 및 목표

• 기존 암시적 3D 표현 방식이 학습을 위해 밀도가 높은 폐쇄형 형상을 요구하는 한계를 해결하기 위해.
• 구멍을 메우기 위한 사전 처리 없이 노이즈가 많은 개방형 삼각형 샘플에서 고정밀 3D 형상을 학습할 수 있도록 하기 위해.
• 렌더링 및 후속 작업에 매우 중요한 복잡한 형상과 개방형 형상의 표면 법선 추정을 향상시키기 위해.
• uDF와 nVF를 결합한 분리된 표현을 개발하여 정확한 등치면 추출과 렌더링을 지원하기 위해.
• 기존 최고 수준의 방법들과 비교하여 벤치마크 데이터셋에서 개방형 및 위상적으로 복잡한 형상을 더 우수한 성능으로 복원하는 것을 입증하기 위해.

제안 방법

• 폐쇄형 및 개방형 표면 모두에 잘 정의된 unsigned distance field(uDF)를 주요 형상 표현으로 제안하며, 이는 기존의 signed distance function이 밀도가 높은 기하학적 구조가 필요로 하는 것과 대비된다.
• 표면에서 미분 가능하지 않은 uDF에 비해도 안정적이고 정확한 표면 법선 추정을 가능하게 하기 위해 별도의 딥 네트워크를 도입하여 법선 벡터 필드(nVF)를 예측한다.
• 거리와 법선 일致성의 손실 함수를 사용하여 uDF와 nVF를 동시에 학습함으로써, 깨끗한 밀도가 높은 메시가 필요로 하지 않는 원시의 방향이 없는 삼각형 샘플에서 학습할 수 있도록 한다.
• 표준 또는 재샘플링 기반 방법보다 계산량이 훨씬 적으면서도 교차 정확도를 향상시키는 새로운 구면 추적 전략인 'Projection'을 개발하여 등치면 추출을 수행한다.
• uDF와 nVF를 조건부로 하는 잠재 코드 z를 사용하여, 희소한 점군에서 볼 수 없는 형상을 0-샷 복원할 수 있는 형상 공간 학습을 가능하게 한다.
• nVF를 사용하여 미분 가능한 렌더링 파이프라인을 구현하여 고품질 레이 트레이싱 렌더링을 수행함으로써, 학습된 법선의 효과를 검증한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 표현이 임의의 위상 구조를 가진 개방형 및 폐쇄형 3D 형상을 효과적으로 모델링할 수 있는가?
• RQ2 다양한 signed distance function에 의존하지 않고도 고정밀 표면 법선을 신뢰성 있게 추정할 수 있는가?
• RQ3 밀도가 높은 메시 사전 처리 없이 노이즈가 많은 방향이 없는 삼각형 샘플에서 3D 형상 표현을 직접 학습할 수 있는가?
• RQ4 uDF와 nVF를 결합하면 기존의 암시적 표현보다 더 나은 등치면 추출 및 렌더링 품질을 달성할 수 있는가?
• RQ5 학습된 표현이 잠재 형상 공간을 통해 새로운 형상을 일반화하여 점군에서 0-샷 복원을 가능하게 하는가?

주요 결과

• DUDE는 ShapeNet 램프 클래스 점군의 보류된 테스트 세트에서 평균 카프만 거리 1.67e-3을 기록하여, SAL의 1.84e-3를 초월한다.
• 제안된 'Projection' 구면 추적 방법은 표준 방법과 계산량이 100배 더 적은 'Resample' 기반 기준보다 낮은 깊이 오차를 기록한다.
• 학습된 nVF를 사용한 레이 트레이싱 렌더링은 uDF의 기울기에서 유도된 법선을 사용한 결과보다 빛의 방향이 더 정확하고 시각적으로 열등한 아티팩트를 보이지 않는다.
• DUDE는 램프의 간격과 같은 개방 영역을 정확히 모델링하는 반면, SAL은 이를 잘못 폐쇄하여 의도한 위상적 특성을 유지하는 능력을 입증한다.
• 모델은 밀도가 높은 메시로의 사전 처리 없이 노이즈가 많은 삼각형 샘플에서 직접 고정밀 표현을 학습한다.
• 분리된 uDF + nVF 표현은 복잡한 위상과 개방 표면에서도 정확한 표면 복원과 고품질 렌더링을 가능하게 한다.