[논문 리뷰] Voxurf: Voxel-based Efficient and Accurate Neural Surface Reconstruction

Tong Wu, Jiaqi Wang외 5명|arXiv (Cornell University)|2022. 08. 26.

3D Shape Modeling and Analysis인용 수 31

한 줄 요약

Voxurf는 효율적이고 정확한 신경 표면 재구성을 위한 보셀 기반 파이프라인을 제시하며, 현 시점의 최첨단 암시적 방법들보다 약 20x 더 빠른 학습 속도와 함께 표면 충실도 및 시각 뷰 합성 품질을 향상시킨다.

ABSTRACT

Neural surface reconstruction aims to reconstruct accurate 3D surfaces based on multi-view images. Previous methods based on neural volume rendering mostly train a fully implicit model with MLPs, which typically require hours of training for a single scene. Recent efforts explore the explicit volumetric representation to accelerate the optimization via memorizing significant information with learnable voxel grids. However, existing voxel-based methods often struggle in reconstructing fine-grained geometry, even when combined with an SDF-based volume rendering scheme. We reveal that this is because 1) the voxel grids tend to break the color-geometry dependency that facilitates fine-geometry learning, and 2) the under-constrained voxel grids lack spatial coherence and are vulnerable to local minima. In this work, we present Voxurf, a voxel-based surface reconstruction approach that is both efficient and accurate. Voxurf addresses the aforementioned issues via several key designs, including 1) a two-stage training procedure that attains a coherent coarse shape and recovers fine details successively, 2) a dual color network that maintains color-geometry dependency, and 3) a hierarchical geometry feature to encourage information propagation across voxels. Extensive experiments show that Voxurf achieves high efficiency and high quality at the same time. On the DTU benchmark, Voxurf achieves higher reconstruction quality with a 20x training speedup compared to previous fully implicit methods. Our code is available at https://github.com/wutong16/Voxurf.

연구 동기 및 목표

• 명확한 기하를 갖춘 명시적 보셀 표현을 결합한 효율적 신경 표면 재구성의 필요성을 제기합니다.
• 미숙한 보셀+SDF 기반선들이 미세 기하학 및 색-기하 의존성을 보존하는 데 가지는 한계를 식별합니다.
• 색-기하 결합을 유지하면서 일관되고 상세한 표면을 가능하게 하는 설계 혁신을 제안합니다.
• 거칠은부터 세밀한 보정과 매끄러움을 장려하기 위한 두 단계 학습 패러다임과 규제화(regularization)를 도입합니다.
• DTU 및 BlendedMVS 벤치마크에서 최첨단 성능과 속도를 입증합니다.

제안 방법

• SDF 보셀 격자와 학습 가능한 특징 보셀 격자로 명시적 체적 표현을 채택합니다.
• 거친 형태 초기화에 이어 세부 기하 최적화를 수행하는 두 단계 학습 절차를 사용합니다.
• 기하 기반 색상 학습을 특징 기반 색상 보정으로부터 분리하는 듀얼 컬러 네트워크를 도입합니다.
• 다중 스케일 SDF 정보와 기울기를 모아 보셀 간의 세부 정보를 전달하는 계층적 기하 특징을 통합합니다.
• Gaussian 기반 스무딩과 SDF 격자에 대한 총 변화(TV) 손실을 포함한 매끄러움 선험을 적용합니다.
• 표면 매끄러움과 일관된 기하를 강제하기 위해 재구성 손실에 정규화 항을 추가하여 학습합니다.

실험 결과

연구 질문

• RQ1 완전히 암시적 방법에 비해 현저히 줄어든 학습 시간으로 보셀 기반 명시적 표현이 고품질의 표면 재구성을 달성할 수 있는가?
• RQ2 아키텍처 선택(듀얼 컬러 네트워크, 계층적 기하 특징)이 색-기하 의존성과 표면 세부 학습에 어떤 영향을 미치는가?
• RQ3 보셀 기반 표면 재구성에서 일관된 거친 형상과 매끄러운 미세 세부를 촉진하는 최적의 학습 전략과 정규화는 무엇인가?
• RQ4 표면 재구성 및 신규 뷰 합성에 대한 표준 벤치마크(DTU, BlendedMVS)에서 Voxurf의 성능은 어떠한가?
• RQ5 이 설정에서 SDF 기반 렌더링과 함께 보셀 격자를 사용할 때 속도와 충실도 사이의 트레이드오프는 무엇인가?

주요 결과

• NeuS 대비 약 20배의 속도 향상을 달성하며, 단일 Nvidia A100 GPU에서의 학습 시간은 약 15분이다.
• DTU에서 표면 재구성 품질 및 신규 뷰 합성 지표에서 최첨단 기준선보다 우수하다.
• 이전의 보셀 기반 및 암시적 방법에 비해 고주파 기하 세부를 보존하고 이미지 렌더링 품질을 향상시킨다.
• 듀얼 컬러 네트워크와 계층적 기하 특징이 기하 재현성 및 색 정확도를 협력적으로 향상시켜 일관된 형상과 세밀한 표면을 가능하게 한다.
• 후처리 및 매끄러움 선험이 표면의 매끄러움 및 시각적 품질을 더욱 향상시킨다.