[논문 리뷰] NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

Peng Wang, Lingjie Liu외 4명|arXiv (Cornell University)|2021. 06. 20.

3D Shape Modeling and Analysis인용 수 544

한 줄 요약

NeuS는 신경 서명 거리 함수(SDFs)를 학습하고, 새로운 편향되지 않은 체적 렌더링 체계를 통해 이를 훈련하여 전경 마스크 없이도 고충실도 다중 뷰 표면 재구성이 가능하다.

ABSTRACT

We present a novel neural surface reconstruction method, called NeuS, for reconstructing objects and scenes with high fidelity from 2D image inputs. Existing neural surface reconstruction approaches, such as DVR and IDR, require foreground mask as supervision, easily get trapped in local minima, and therefore struggle with the reconstruction of objects with severe self-occlusion or thin structures. Meanwhile, recent neural methods for novel view synthesis, such as NeRF and its variants, use volume rendering to produce a neural scene representation with robustness of optimization, even for highly complex objects. However, extracting high-quality surfaces from this learned implicit representation is difficult because there are not sufficient surface constraints in the representation. In NeuS, we propose to represent a surface as the zero-level set of a signed distance function (SDF) and develop a new volume rendering method to train a neural SDF representation. We observe that the conventional volume rendering method causes inherent geometric errors (i.e. bias) for surface reconstruction, and therefore propose a new formulation that is free of bias in the first order of approximation, thus leading to more accurate surface reconstruction even without the mask supervision. Experiments on the DTU dataset and the BlendedMVS dataset show that NeuS outperforms the state-of-the-arts in high-quality surface reconstruction, especially for objects and scenes with complex structures and self-occlusion.

연구 동기 및 목표

• 마스크 감독 하의 표면-렌더링 접근 방식에서 벗어나 다중 뷰 이미지로부터 강건한 표면 재구성의 필요성을 제시한다.
• 표면을 신경 SDF의 제로-레벨 세트로 표현하고 새로운 체적 렌더링 형식을 통해 학습한다.
• 가려짐 처리 보존을 유지하면서 편향 없는 1차 표면 재구성을 보장한다.
• 마스크가 있든 없든 DTU, BlendedMVS와 같은 도전적인 데이터셋에서 재구성 품질이 우수함을 시연한다.

제안 방법

• 장면을 MLP로 매개변수화된 신경 SDF f와 색상 필드 c로 표현한다.
• SDF와 체적 렌더링을 연결하기 위해 로지스틱 분포에서 파생된 S-밀도 phi_s를 도입한다.
• 불투명 밀도 rho와 표준 체적 렌더링 프레임워크를 사용하여 광선상에서 가려짐 인지 가능하고 편향되지 않은 가중치 w(t)를 정의한다.
• rho(t)와 w(t)를 계산하는 수식을 제공한다(rho(t)=max(-dPhi_s/dt / Phi_s, 0); w(t)=T(t) rho(t) with T(t)=exp(-∫ rho)).
• 컬러 손실과 선택적 마스크 손실 및 SDF에 대한 Eikonal 규제와 함께 엔드-투-엔드로 학습한다; NeRF에서처럼 계층적 샘플링을 사용한다.
• 마스크 설정이 없는 경우 NeRF++로 배경을 처리한다; 기하학적 초기화와 Eikonal 및 기하학적 priors로 규제한다.

실험 결과

연구 질문

• RQ1 SDF 기반 표현이 마스크 감독 없이 2D 이미지로부터 고품질 표면을 생성하기 위해 체적 렌더링으로 효과적으로 학습될 수 있는가?
• RQ2 편향이 없고 가려짐에 민감한 체적 렌더링 형식이 기존의 밀도 기반 렌더링보다 표면 재구성 정확도를 개선하는가?
• RQ3 NeuS는 IDR, NeRF, UNISURF와 비교하여 복잡한 기하학과 얇은 구조에서 가려짐 하에서 어떤 성능을 보이는가?
• RQ4 Eikonal 규제와 기하학적 초기화가 다중 뷰 재구성을 위한 정확한 SDF 학습에 어떤 영향을 미치는가?

주요 결과

• NeuS는 DTU와 BlendedMVS에서 수술적 재구성 품질을 달성하여 마스크 보조 및 마스크 없는 설정 모두에서 IDR, NeRF, UNISURF를 능가한다.
• 제안된 편향되지 않고 가려짐 인식 가중치 함수는 전경 마스크 없이도 신경 SDF에서 0-레벨 표면을 정확하게 추출할 수 있게 한다.
• NeuS는 얇은 구조를 정확하게 재구성하고 심한 자기-가려짐과 급격한 깊이 변화도 처리한다.
• 아블레이션 결과는 순진한 체적 렌더링이나 단순한 SDF-에서 체적 매핑이 편향이나 인공물을 도입한다는 것을 보여주며, 적절한 가중치 구성과 Eikonal 규제가 SDF 정확도를 향상시킨다.
• 정성적·정량적 결과는 얇은 금속 부품 및 가려진 영역을 포함한 어려운 시나리오에서도 견고한 성능을 보여준다.