[논문 리뷰] NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination

Xiuming Zhang, Pratul P. Srinivasan외 4명|arXiv (Cornell University)|2021. 06. 03.

Advanced Vision and Imaging참고 문헌 60인용 수 57

한 줄 요약

NeRFactor는 다중 뷰 이미지 하에서 알려지지 않은 조명 아래에 법선, 조명 가시성, 반사율(알베도), 그리고 공간적으로 변화하는 BRDF를 갖는 전체 3D 표면을 복원하여 그림자와 재조명 및 재질 편집이 가능한 relighting을 가능하게 한다.

ABSTRACT

We address the problem of recovering the shape and spatially-varying reflectance of an object from multi-view images (and their camera poses) of an object illuminated by one unknown lighting condition. This enables the rendering of novel views of the object under arbitrary environment lighting and editing of the object's material properties. The key to our approach, which we call Neural Radiance Factorization (NeRFactor), is to distill the volumetric geometry of a Neural Radiance Field (NeRF) [Mildenhall et al. 2020] representation of the object into a surface representation and then jointly refine the geometry while solving for the spatially-varying reflectance and environment lighting. Specifically, NeRFactor recovers 3D neural fields of surface normals, light visibility, albedo, and Bidirectional Reflectance Distribution Functions (BRDFs) without any supervision, using only a re-rendering loss, simple smoothness priors, and a data-driven BRDF prior learned from real-world BRDF measurements. By explicitly modeling light visibility, NeRFactor is able to separate shadows from albedo and synthesize realistic soft or hard shadows under arbitrary lighting conditions. NeRFactor is able to recover convincing 3D models for free-viewpoint relighting in this challenging and underconstrained capture setup for both synthetic and real scenes. Qualitative and quantitative experiments show that NeRFactor outperforms classic and deep learning-based state of the art across various tasks. Our videos, code, and data are available at people.csail.mit.edu/xiuming/projects/nerfactor/.

연구 동기 및 목표

• 단일 알려지지 않은 조명 아래 캡처된 다중 뷰 이미지를 이용해 형상, 공간적으로 변화하는 반사율, 그리고 환경 조명을 복원한다.
• 효율적인 쉐이딩과 재조명을 가능하게 하기 위해 NeRF 기반 부피 밀도를 효율적인 쉐이딩과 재조명에 사용 가능한 표면 표현으로 변환한다.
• 재질 추정을 제약하기 위해 실제 BRDF 측정으로부터 학습된 데이터 기반 BRDF 사전(prior)을 도입한다.
• 임의의 조명 조건에서 현실적인 그림자 재조명을 가능하게 하도록 그림자와 알베도를 구분한다.

제안 방법

• surface 위치, 법선, 그리고 조명 가시성을 얻기 위해 NeRF(또는 MVS)로 기하를 초기화한다.
• 재렌더링 손실에 맞추면서 노멀 및 가시성을 노이즈 제거와 매끄럽게 만들면서 재렌더링 손실을 적합시키기 위해 MLP로 재매개변수화한다.
• BRDF를 Lambertian 알베도와 학습된 비확산 성분의 합으로 모델링하며, 실제 BRDF(MERL)로 사전 학습된 BRDF 잠재 공간을 통해 표면 점마다 디코딩한다.
• 조명을 고주파 HDR 라이트 프로브로 표현하고 직접 한 바운스 렌더링 가정하에 최적화한다.
• 재구성 손실과 함께 노멀, 가시성, 알베도 및 BRDF에 대한 매끄럽움 및 사전 손실을 추가로 사용하여 형상, 반사, 조명을 해체한다.

실험 결과

연구 질문

• RQ1 하나의 조명 아래에서 촬영된 이미지로부터 기하학, 공간적으로 변화하는 반사율, 그리고 알려지지 않은 환경 조명을 appearance로 분해할 수 있는가?
• RQ2 NeRF 기반 기하를 학습된 사전으로 표면 표현으로 증류하는 것이 정확한 재조명 및 재질 편집을 가능하게 하는가?
• RQ3 데이터 기반 BRDF 사전이 한 개의 빛 아래 제약된 설정에서 그럴듯하고 공간적으로 변화하는 재질을 얼마나 잘 지원하는가?

주요 결과

• 제법하며, 다중 뷰 이미지의 미지의 조명 조건 하에서 감독 없이도 3D 표면 노멀, 빛 가시성, 알베도, 그리고 BRDF를 복원한다.
• 빛 가시성의 명시적 모델링은 그림자와 알베도를 구분하고 새로운 조명 조건 아래 현실적인 그림자를 구현하게 한다.
• NeRF로 도출된 초기화와 학습된 사전이 기하와 재질 추정을 개선하여 자유 시점 재조명 및 재질 편집을 가능하게 한다.
• 다양한 작업에서 NeRFactor가 클래식 및 딥러닝 기법의 최첨단을 능가하며 추가로 관찰된 조명 조건을 필요로 하지 않는다.