[논문 리뷰] NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

Peng Wang, Lingjie Liu외 4명|arXiv (Cornell University)|2021. 06. 20.

3D Shape Modeling and Analysis참고 문헌 36인용 수 85

한 줄 요약

NeuS는 표면을 신경 SDF의 제로 레벨 세트로 표현하고 편향 없는 가려짐 인지 볼륨 렌더링 공식으로 학습함으로써 고해상도 3D 표면을 재구성하며 전경 마스크 없이 표면 재구성을 가능하게 한다.

ABSTRACT

We present a novel neural surface reconstruction method, called NeuS, for reconstructing objects and scenes with high fidelity from 2D image inputs. Existing neural surface reconstruction approaches, such as DVR and IDR, require foreground mask as supervision, easily get trapped in local minima, and therefore struggle with the reconstruction of objects with severe self-occlusion or thin structures. Meanwhile, recent neural methods for novel view synthesis, such as NeRF and its variants, use volume rendering to produce a neural scene representation with robustness of optimization, even for highly complex objects. However, extracting high-quality surfaces from this learned implicit representation is difficult because there are not sufficient surface constraints in the representation. In NeuS, we propose to represent a surface as the zero-level set of a signed distance function (SDF) and develop a new volume rendering method to train a neural SDF representation. We observe that the conventional volume rendering method causes inherent geometric errors (i.e. bias) for surface reconstruction, and therefore propose a new formulation that is free of bias in the first order of approximation, thus leading to more accurate surface reconstruction even without the mask supervision. Experiments on the DTU dataset and the BlendedMVS dataset show that NeuS outperforms the state-of-the-arts in high-quality surface reconstruction, especially for objects and scenes with complex structures and self-occlusion.

연구 동기 및 목표

• 전경 마스크 없이 로컬 최적화에 과도하게 의존하지 않는 강건한 다중 뷰 표면 재구성의 필요성을 제시한다.
• 표면을 신경 SDF의 제로 레벨 세트로 표현하여 정확한 기하 추출을 가능하게 한다.
• 2D 이미지만으로 SDF를 학습하기 위한 편향 없이 가려짐 인지 볼륨 렌더링 공식을 개발한다.
• 얇은 구조와 심한 가려짐을 포함한 어려운 데이터셋(DTU, BlendedMVS)에서 우수한 재구성 품질을 입증한다.

제안 방법

• 장면을 SDF f(x)와 색상 필드 c(x, v)를 MLP를 통해 표현한다.
• S-밀도 phi_s(f(x))를 로지스틱 CDF의 도함수로 도입하여 SDF의 볼륨 렌더링을 가능하게 한다.
• 레이까지의 가중치 w(t)=T(t)rho(t) 이고 T(t)=exp(-∫ rho)일 때 불투명도 밀도 rho(t)를 정의하여 1차 SDF 근사에서 편향되지 않도록 한다.
• 로지스틱 CDF Phi_s와 그 도함수로부터 rho(t)를 도출하여 w(t)가 표면 교차점에서 피크하고 가려짐을 반영하도록 한다.
• NeRF 유사 샘플링으로 렌더링을 이산화하고 가중합으로 색상을 계산하며; 학습 시 Eikonal 정규화 및 선택적 마스크를 사용한다.
• 입력 이미지와의 색 차이를 최소화하도록 엔드 투 엔드로 학습하되 선택적 마스크 손실과 계층적 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 편향 없는 가려짐 인지 볼륨 렌더링 공식을 사용해 학습된 신경 SDF가 마스크 없이 된 다중 뷰 이미지로부터 고충실도 표면을 생성할 수 있는가?
• RQ2 제안된 SDF 기반 볼륨 렌더링이 어려운 데이터셋에서 기존의 표면 기반(IDR) 및 볼륨 기반(NeRF) 방법과 어떻게 비교되는가?
• RQ3 학습된 표면이 전경 마스크 없이 자기-가려짐 및 얇은 구조에 대해 견고한가?

주요 결과

• NeuS는 DTU 및 BlendedMVS에서 최첨단 방법(IDR, NeRF, UNISURF)보다 재구성 정합도가 높게 나타났으며, 특히 복잡하고 가려진 기하에서 두드러진다.
• 편향 없는 1차 볼륨 렌더링 공식은 Naive 볼륨 렌더링에 비해 SDF의 제로 레벨 세트에서 더 나은 표면 위치를 제공한다.
• 변수 제거 실험은 제안된 가중치 구성은 단순한 접근법보다 우수함을 보여주고, Eikonal 정규화와 기하학적 초기화가 SDF 품질을 향상시킨다.
• NeuS는 얇은 구조와 심한 깊이 변화가 있는 씬을 마스크 감독 없이도 정확하게 재구성하며, 부분 텍스처에서도 견고하게 작동한다.
• 정량적 결과(Chamfer 거리)는 마스크 설정과 비마스크 설정 모두에서 기준선보다 일관되게 개선되었음을 나타낸다.