[논문 리뷰] DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation

Jeong Joon Park, Pete Florence외 3명|arXiv (Cornell University)|2019. 01. 15.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

DeepSDF는 3D 형태의 신경망 기반 연속 서피스 거리 함수(SDF) 표현을 제안하며, 전체 형태 클래스를 암시적으로 표현하기 위해 잠재 코드 조건부 디코더를 학습한다. 이는 기존 방법에 비해 메모리 사용을 크게 줄인 7.4MB의 컴act한 모델 크기로 상태 최신 성능을 달성하며, 3D 형태 복원 및 완성에서 뛰어난 성능을 보인다.

ABSTRACT

Computer graphics, 3D computer vision and robotics communities have produced multiple approaches to representing 3D geometry for rendering and reconstruction. These provide trade-offs across fidelity, efficiency and compression capabilities. In this work, we introduce DeepSDF, a learned continuous Signed Distance Function (SDF) representation of a class of shapes that enables high quality shape representation, interpolation and completion from partial and noisy 3D input data. DeepSDF, like its classical counterpart, represents a shape's surface by a continuous volumetric field: the magnitude of a point in the field represents the distance to the surface boundary and the sign indicates whether the region is inside (-) or outside (+) of the shape, hence our representation implicitly encodes a shape's boundary as the zero-level-set of the learned function while explicitly representing the classification of space as being part of the shapes interior or not. While classical SDF's both in analytical or discretized voxel form typically represent the surface of a single shape, DeepSDF can represent an entire class of shapes. Furthermore, we show state-of-the-art performance for learned 3D shape representation and completion while reducing the model size by an order of magnitude compared with previous work.

연구 동기 및 목표

• 전체 형태 클래스에 걸쳐 일반화 가능한 연속적이고 미분 가능한, 그리고 컴act한 3D 형태 표현을 개발한다.
• 딥 러닝을 활용해 부분적 또는 노이즈가 있는 입력 데이터로부터 고품질의 3D 형태 복원 및 완성 기능을 제공한다.
• 기존의 암시적 또는 명시적 3D 표현 방식에 비해 복원 정확도를 유지하거나 향상시키면서 모델 크기를 줄인다.
• 한 개의 학습된 SDF 네트워크가 공유된 잠재 공간을 통해 수천 개의 형태를 표현할 수 있음을 보여준다.
• 연속적인 SDF 평가를 통해 잠재 공간 내에서의 보간 및 새로운 형태의 생성을 가능하게 한다.

제안 방법

• 피드포워드 신경망이 잠재 코드 벡터에 조건화되어 임의의 3D 좌표에서 서피스 거리 값을 예측하도록 학습된다.
• 모델은 잠재 코드에서 형태를 재구성하기 위해 확률적 오토디코더 프레임워크를 사용하며, 형태 표면 내외의 샘플링된 점들에 대한 재구성 손실을 최소화한다.
• SDF는 네트워크 출력의 0레벨 집합으로 암시적으로 정의되며, 음수 값은 내부, 양수 값은 외부, 0은 표면에서 해당한다.
• 학습 데이터는 진짜 형태에서 샘플링된 3D 점들과 해당하는 SDF 값으로 구성되며, 내부 및 외부 점 모두 포함된다.
• 잠재 코드는 기하학적 경사 하강법을 통해 최적화되어, 새로운 형태를 재구성할 수 있도록 하며, 이는 제로샷 형태 표현을 가능하게 한다.
• 이 방법은 임의의 3D 위치에서 SDF를 연속적이고 미분 가능한 방식으로 평가할 수 있으며, 레이캐스팅을 통한 고해상도 렌더링 및 표면 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 전체 3D 형태 클래스에 대해 연속적이고 일반화 가능한 SDF 표현을 학습할 수 있는가?
• RQ2 기존의 3D 형태 표현 기법과 비교해 본다면, 제안된 방법은 복원 및 완성 품질에서 어떤 성능을 보이는가?
• RQ3 학습된 잠재 공간이 보간 및 새로운 실재적인 3D 형태의 생성을 어느 정도 지원할 수 있는가?
• RQ4 바이올, 메쉬 기반 대안과 비교해 본다면, 제안된 표현의 메모리 효율성은 어떠한가?
• RQ5 잠재 코드 최적화를 통해 훈련 세트에 포함되지 않은 새로운 형태로 일반화할 수 있는가?

주요 결과

• DeepSDF는 여러 개의 ShapeNet 카테고리에서 3D 형태 복원 및 완성에서 상태 최신 성능을 달성하며, 모든 메트릭에서 기존 방법을 능가한다.
• 체어 카테고리의 경우, DeepSDF는 메시 완성 점수 0.947과 코사인 유사도 0.896을 기록했으며, AtlasNet-Sph(0.668 및 0.790)와 AtlasNet-25(0.723 및 0.797)를 크게 앞서나갔다.
• 비행기 카테고리의 경우 메시 완성 점수 0.970, 테이블 카테고리의 경우 0.982를 기록하여 복잡한 토폴로지의 높은 정밀도 복원 능력을 보였다.
• DeepSDF는 수천 개의 3D 형태를 포함한 전체 카테고리를 표현하기 위해 단지 7.4MB의 메모리만을 사용했으며, 단일 압축 해제되지 않은 512³ 바이올 격자(16.8MB)의 절반 이하 크기였다.
• 잠재 코드 최적화를 통해 테스트 세트에 없는 형태를 성공적으로 복원하여, 학습된 잠재 공간의 일반화 능력과 표현력이 입증되었다.
• 소파 카테고리의 경우 높은 코사인 유사도(0.917)를 기록하여 정확한 법선 추정과 표면 일관성을 보였다.