[논문 리뷰] OctField: Hierarchical Implicit Functions for 3D Modeling

Jia-Heng Tang, Weikai Chen외 5명|arXiv (Cornell University)|2021. 11. 01.

3D Shape Modeling and Analysis인용 수 13

한 줄 요약

OctField는 표면 점유도와 기하학적 복잡도에 기반해 공간을 재귀적으로 분할하고, 확률적이고 미분 가능한 네트워크를 통해 오кт리 구조를 미분 가능하게 설계함으로써, 높은 기하학적 정밀도와 낮은 메모리 비용을 동시에 확보하는 학습 가능한 계층적 암묵적 함수 표현을 제안한다. 기존 방법에 비해 계산 부담을 줄이며 우수한 복원 및 편집 성능을 달성한다.

ABSTRACT

Recent advances in localized implicit functions have enabled neural implicit representation to be scalable to large scenes. However, the regular subdivision of 3D space employed by these approaches fails to take into account the sparsity of the surface occupancy and the varying granularities of geometric details. As a result, its memory footprint grows cubically with the input volume, leading to a prohibitive computational cost even at a moderately dense decomposition. In this work, we present a learnable hierarchical implicit representation for 3D surfaces, coded OctField, that allows high-precision encoding of intricate surfaces with low memory and computational budget. The key to our approach is an adaptive decomposition of 3D scenes that only distributes local implicit functions around the surface of interest. We achieve this goal by introducing a hierarchical octree structure to adaptively subdivide the 3D space according to the surface occupancy and the richness of part geometry. As octree is discrete and non-differentiable, we further propose a novel hierarchical network that models the subdivision of octree cells as a probabilistic process and recursively encodes and decodes both octree structure and surface geometry in a differentiable manner. We demonstrate the value of OctField for a range of shape modeling and reconstruction tasks, showing superiority over alternative approaches.

연구 동기 및 목표

• 대규모 3D 모델링에서 정규 격자 기반 암묵적 함수의 높은 메모리 및 계산 비용 문제를 해결하기 위해.
• 국소 기하학적 복잡도와 표면 희소성에 기반해 모델링 능력을 적응적으로 할당할 수 있도록 하기 위해.
• 비미분 가능한 오кт리 구조를 미분 가능한 딥러닝 프레임워크에 통합하여 종단 간 훈련을 가능하게 하기 위해.
• 세밀한 디테일을 가진 복잡한 3D 형태의 복원 정확도와 효율성을 향상시키기 위해.
• 압축된 계층적 표현을 통해 민첩하고 연속적인 국소적 형태 편집을 가능하게 하기 위해.

제안 방법

• OctField는 3D 공간을 적응적으로 분할하기 위해 계층적 오кт리 구조를 사용하며, 표면 근처이거나 기하학적 디테일이 풍부한 영역에만 국소 암묵적 함수를 할당한다.
• 오кт리 구조 생성은 기하학적 특징을 기반으로 분할을 예측하는 분류기로 구성된 확률적 과정으로 모델링되어, 미분 가능한 훈련이 가능하다.
• 계층적 인코더-디코더 네트워크가 오кт리 구조와 기하학적 특징을 모두 미분 가능한 방식으로 재귀적으로 인코딩하고 디코딩한다.
• 이 방법은 부분 점군을 잠재 코드로 매핑하기 위해 3D CNN 인코더를 사용하며, 이후 이 잠재 코드를 완전한 오кт리와 표면 기하학으로 디코딩한다.
• 각 8분면 셀에 국소 암묵적 함수를 연결하여 필요한 곳에서는 세밀한 모델링을, 나머지 영역에서는 더 거친 표현을 가능하게 한다.
• 프레임워크는 국소 잠재 코드의 재매개변수화를 통해 형태 편집을 지원하여, 서로 다른 기하학적 형태 간의 부드러운 전환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 적응형 오кт리 분할 기반의 계층적 암묵적 표현이 3D 형태의 메모리 효율성과 모델링 정확도를 향상시킬 수 있는가?
• RQ2 비미분 가능한 오кт리 구조는 어떻게 미분 가능한 딥러닝 프레임워크에 통합되어 3D 기하학 학습이 가능하게 하는가?
• RQ3 기하학적 복잡도에 기반한 적응적 분할이 정규 격자 기반 분할에 비해 3D 복원 작업에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 제안된 방법은 기존 방법에 비해 더 적은 잡음으로 부분 점군에서의 강건한 형태 복원을 달성할 수 있는가?
• RQ5 계층적 구조는 표면 연속성을 해치지 않으면서도 민감하고 연속적인 국소적 형태 편집을 가능하게 하는가?

주요 결과

• OctField는 형태 복원에서 4.4 × 10⁻⁴의 카프먼 거리(CD)를 기록하여 IF-Net(4.9 × 10⁻⁴)과 O-CNN(12.1 × 10⁻⁴)을 능가하며, 뛰어난 복원 정밀도를 입증한다.
• O-CNN가 조밀한 점군을 출력하는 데 반해, OctField는 부분 입력에서 완전한 메시를 생성함으로써 후속 작업에서의 사용성 향상을 확보한다.
• 국소 잠재 코드의 재매개변수화를 통해 OctField는 암묵적 필드를 간단히 혼합하는 데서 발생하는 불연속성 없이 부드럽고 연속적인 국소 형태 편집을 가능하게 한다.
• 적응형 오кт리 구조는 비어 있는 영역에 암묵적 함수를 할당하지 않으며, 매끄러운 영역은 더 거친 분할로 나누어 메모리 사용량을 줄인다.
• 확률적 분할을 통한 미분 가능한 오кт리 구조 생성은 종단 간 훈련을 가능하게 하여 전체 파이프라인의 학습 가능성과 확장성을 확보한다.
• 실험 결과, OctField는 더 깊은 오кт리 레벨에서도 높은 정확도를 유지함으로써 복잡한 기하학적 형태로의 강력한 확장성을 보여준다.