[논문 리뷰] Iso-Points: Optimizing Neural Implicit Surfaces with Hybrid Representations

Yifan Wang, Shihao Wu외 2명|arXiv (Cornell University)|2020. 12. 11.

3D Shape Modeling and Analysis참고 문헌 50인용 수 4

한 줄 요약

이 논문은 최적화 안정성과 재구성 품질을 향상시키기 위해 신경 암시 함수와 동적으로 업데이트되는 기하학적 인식 포인트 클라우드를 조합한 하이브리드 신경 표면 표현인 Iso-Points를 소개한다. 학습 중에 실시간으로 등치면 포인트를 투영하고 재표본화하며 확장함으로써, 효과적인 기하학적 정규화를 가능하게 하여 빠른 수렴, 더 나은 일반화, 그리고 노이즈가 많거나 부족한 데이터(예: 희소하거나 손상된 포인트 클라우드 및 다중 시점 영상)로부터의 세밀한 디테일과 토폴로지 복구를 향상시킨다.

ABSTRACT

Neural implicit functions have emerged as a powerful representation for surfaces in 3D. Such a function can encode a high quality surface with intricate details into the parameters of a deep neural network. However, optimizing for the parameters for accurate and robust reconstructions remains a challenge, especially when the input data is noisy or incomplete. In this work, we develop a hybrid neural surface representation that allows us to impose geometry-aware sampling and regularization, which significantly improves the fidelity of reconstructions. We propose to use \emph{iso-points} as an explicit representation for a neural implicit function. These points are computed and updated on-the-fly during training to capture important geometric features and impose geometric constraints on the optimization. We demonstrate that our method can be adopted to improve state-of-the-art techniques for reconstructing neural implicit surfaces from multi-view images or point clouds. Quantitative and qualitative evaluations show that, compared with existing sampling and optimization methods, our approach allows faster convergence, better generalization, and accurate recovery of details and topology.

연구 동기 및 목표

• 희소하거나 손상된 포인트 클라우드 및 다중 시점 영상과 같은 노이즈가 많거나 완전하지 않은 3D 데이터로부터 신경 암시 표면을 최적화하는 데 도전하는 데 목적이 있다.
• 명시적이고 유연한 포인트 표현을 통해 기하학적 제약 조건을 최적화 과정에 통합함으로써 재구성 정밀도를 향상시키는 데 목적이 있다.
• 동적으로 기하학적 인식 표본화를 활용하여 신경 암시 표면 피팅의 수렴 속도를 빠르게 하고 일반화 성능을 향상시키는 데 목적이 있다.
• 암시 함수와 등치면 포인트 간의 이중 방향 변환을 도입함으로써 암시적 신경 표현과 명시적 기하 처리 도구 사이의 격차를 메우는 데 목적이 있다.
• 지표가 없는 지도 학습 없이도 토폴로지 정확도와 디테일 보존을 향상시키는 데 목적이 있다.

제안 방법

• 이 방법은 신경 암시 함수의 영점 수준 집합에서 유도된 명시적 실시간 표본화된 포인트 클라우드 표현인 등치면 포인트를 도입한다.
• 다단계 표본화 파이프라인을 사용한다: 암시 표면에 포인트를 투영하고, 부족한 영역을 보정하기 위해 재표본화하며, 고밀도 커버리지 달성을 위해 확장한다.
• 모든 연산은 GPU 가속화되어 있으며 국소 포인트 이웃 관계에만 의존하므로 학습 중 효율성과 확장성 보장.
• 기하학적 인식 정규화는 등치면 포인트의 공간 분포와 곡률을 활용하여 최적화를 안내하고 노이즈 및 아티팩트를 억제한다.
• 하이브리드 표현은 레이 마arching 또는 가시성 기반 렌더링과 같은 기존 최적화 파이프라인에 최소한의 오버헤드로 통합 가능하다.
• 투영 전에 등치면 포인트를 음영 처리된 포인트로부터 필터링하여 계산 비용을 줄이고 최적화 효율을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경 암시 함수와 명시적 포인트 클라우드를 조합한 하이브리드 표현이 불완전한 데이터에서 3D 표면의 최적화 안정성과 재구성 품질을 향상시킬 수 있는가?
• RQ2 계산 비용 증가 없이 기하학적 인식 표본화와 정규화를 효과적으로 신경 암시 표면 최적화에 통합할 수 있는가?
• RQ3 등치면 포인트는 노이즈가 많거나 희소한 입력에서 얼마나 높은 수준의 디테일 복구와 토폴로지 정확도 향상을 이룰 수 있는가?
• RQ4 제안된 방법은 최소한의 수정으로 기존의 다중 시점 또는 포인트 클라우드 재구성 파이프라인에 효율적으로 통합될 수 있는가?
• RQ5 실시간 등치면 포인트 추출을 사용할 경우, 기존 최적화 전략에 비해 수렴 속도가 빠르고 일반화 성능이 향상되는가?

주요 결과

• 제안된 방법은 기준 최적화보다 수렴 속도가 더 빠르며, Fig. 10에서 보듯이 주어진 카멘지 거리 임계치에 도달하는 데 최대 2배 빠르게 도달한다.
• DTU-MVS 데이터셋에서 평균 L1-Chamfer 거리는 0.53으로 기준값(0.61), 스크리닝된 포isson(0.47), Points2Surf(0.52)를 모두 능가한다.
• DTU-MVS 데이터셋의 모델 122에 대해 카멘지 거리는 0.42를 기록하여 기준값(0.50)보다 유의미하게 낮아, 노이즈가 많고 희소한 입력에서 뛰어난 재구성 정확도를 보여준다.
• 이 방법은 입력 데이터의 외곽선, 구멍 등으로 인한 이상치로 인한 '드롭렛'과 종기 같은 토폴로지 노이즈 및 표면 아티팩트를 효과적으로 억제한다.
• 등치면 포인트 추출의 오버헤드는 매우 낮으며 일반적으로 3회의 학습 반복과 동일한 수준이므로 실시간 또는 반복 최적화 파이프라인에 실용적이다.
• 다중 시점 재구성에서 세밀한 기하학적 디테일을 보존하며, 기준 및 최신 기술 대비 향상된 특징 복구 성능을 입증하였다.