[논문 리뷰] NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild

Jason Zhang, Gengshan Yang외 2명|arXiv (Cornell University)|2021. 10. 14.

Computer Graphics and Visualization Techniques참고 문헌 59인용 수 52

한 줄 요약

NeRS는 watertight 기하를 신경 BRDF로 모델링하는 표면 기반 신경 표현을 제안하여, 현장 환경에서의 희소 뷰 3D 재구성에서 강건함과 부피 기반 방법보다 향상된 새 뷰 합성을 가능하게 한다.

ABSTRACT

Recent history has seen a tremendous growth of work exploring implicit representations of geometry and radiance, popularized through Neural Radiance Fields (NeRF). Such works are fundamentally based on a (implicit) volumetric representation of occupancy, allowing them to model diverse scene structure including translucent objects and atmospheric obscurants. But because the vast majority of real-world scenes are composed of well-defined surfaces, we introduce a surface analog of such implicit models called Neural Reflectance Surfaces (NeRS). NeRS learns a neural shape representation of a closed surface that is diffeomorphic to a sphere, guaranteeing water-tight reconstructions. Even more importantly, surface parameterizations allow NeRS to learn (neural) bidirectional surface reflectance functions (BRDFs) that factorize view-dependent appearance into environmental illumination, diffuse color (albedo), and specular "shininess." Finally, rather than illustrating our results on synthetic scenes or controlled in-the-lab capture, we assemble a novel dataset of multi-view images from online marketplaces for selling goods. Such "in-the-wild" multi-view image sets pose a number of challenges, including a small number of views with unknown/rough camera estimates. We demonstrate that surface-based neural reconstructions enable learning from such data, outperforming volumetric neural rendering-based reconstructions. We hope that NeRS serves as a first step toward building scalable, high-quality libraries of real-world shape, materials, and illumination. The project page with code and video visualizations can be found at https://jasonyzhang.com/ners.

연구 동기 및 목표

• 현장의 희소 뷰 3D 재구성을 위한 체적형 NeRF 스타일 표현의 강건한 대안에 대한 모티브를 제시한다.
• watertight 표면 기하를 강제하고 외관을 diffuse albedo와 specular 구성요소로 분해하는 Neural Reflectance Surfaces(NeRS)를 도입한다.
• 인터넷에서 수집한 소량의 다중 뷰 이미지에서 형태, 질감, 조명 및 재질 특성을 학습한다.
• 새로운 현장 데이터셋인 MVMC(Multi-view Marketplace Cars)에서 NeRS를 평가하고 베이스라인과 비교한다.]
• method:[
• 형태를 단위 구에 걸친 신경 변형 필드 f_shape로 표현하여 watertight 표면을 생성한다.
• 구 위의 뉴럴 UV 유사 필드 f_tex로 질감을 표현하여 표면별 색상을 얻는다.
• 회색조 환경 맵 f_env를 이용한 조명을 모델링하고 Phong 기반 분해를 사용해 렌더링한다.
• L_o = T(x) * I_diffuse + k_s * I_specular를 사용해 픽셀당 방사도를 계산하기 위해 미분가능한 래스터라이제이션으로 렌더링한다.
• 이미지 및 마스크 손실, 지각 손실 및 기하 규제화를 포함한 거친-에서 미세 단계로 진행하는 최적화 스케줄로 학습한다.

제안 방법

• 형태를 단위 구에 걸친 신경 변형 필드 f_shape로 표현하여 watertight 표면을 생성한다.
• 구 위의 뉴럴 UV 유사 필드 f_tex로 질감을 표현하여 표면별 색상을 얻는다.
• 회색조 환경 맵 f_env를 이용한 조명을 모델링하고 Phong 기반 분해를 사용해 렌더링한다.
• L_o = T(x) * I_diffuse + k_s * I_specular를 사용해 픽셀당 방사도를 계산하기 위해 미분가능한 래스터라이제이션으로 렌더링한다.
• 이미지 및 마스크 손실, 지각 손실 및 기하 규제화를 포함한 거친-에서 미세 단계로 진행하는 최적화 스케줄로 학습한다.

실험 결과

연구 질문

• RQ1 현장의 희소 뷰 다중 뷰 이미지에서 BRDF 영감의 조명을 가진 표면 기반 신경 표현이 형태, 질감, 조명을 강건하게 회복할 수 있는가?
• RQ2 약한 카메라 정보와 제한된 시야에서 NeRS는 체적 NeRF 스타일 방법과 어떻게 비교되는가?
• RQ3 현상에서 확산 반사와 정반사 구성요소로 appearances를 분해하는 것이 조명 및 재질 특성의 해리에는 도움이 되는가?
• RQ4 대략적인 범주 수준 템플릿과 근사 포즈가 다양한 물체 범주에 걸쳐 고품질 재구성을 이끌 수 있는가?

주요 결과

• NeRS는 MVMC에서 MSE, PSNR, SSIM, LPIPS, FID 모든 지표에서 baselines(NeRF*, MetaNeRF, IDR)를 크게 상회한다.
• NeRS는 MSE 0.0254, PSNR 16.5, SSIM 0.720, LPIPS 0.172, FID 60.9로 모든 나열된 baselines를 능가한다.
• 표면 기반 표현은 환경 조명, 확산 반사도, 및 정반사 광택을 분리하여 시야 의존적 반사를 정확하게 모델링할 수 있게 해 준다.
• 거친 초기화(거친 큐보이드 메시는 다양한 물체의 상세 형태, 질감 및 조명을 회복하는 데 충분하다.
• MVMC 데이터셋은 대규모의 현장 상황에서의 다중 뷰 데이터를 제공하여 희소 뷰 재구성 및 새로운 뷰 합성을 벤치마크한다.