[논문 리뷰] S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint

Wenqi Yang, Guanying Chen외 3명|arXiv (Cornell University)|2022. 10. 17.

Computer Graphics and Visualization Techniques인용 수 11

한 줄 요약

S$^3$-NeRF는 다양한 점광원 조명 하에서 단일 시점 이미지로부터 가시 표면과 비가시 표면을 포함한 완전한 3D 시점 기하학을 복원하는 새로운 신경 반사율 필드 방법을 제안한다. 다양한 가시성과 그림자 신호를 이용한 미분 가능 볼륨 렌더링 및 온라인 그림자 계산을 통해 기하학과 BRDF를 동시에 최적화함으로써, 캘리브레이션되지 않은 조명 위치와 제한된 조명 수가 있는 상황에서도 강력하고 고해상도의 복원을 달성하며, 이는 새로운 시점 합성과 재조명을 가능하게 한다.

ABSTRACT

In this paper, we address the "dual problem" of multi-view scene reconstruction in which we utilize single-view images captured under different point lights to learn a neural scene representation. Different from existing single-view methods which can only recover a 2.5D scene representation (i.e., a normal / depth map for the visible surface), our method learns a neural reflectance field to represent the 3D geometry and BRDFs of a scene. Instead of relying on multi-view photo-consistency, our method exploits two information-rich monocular cues, namely shading and shadow, to infer scene geometry. Experiments on multiple challenging datasets show that our method is capable of recovering 3D geometry, including both visible and invisible parts, of a scene from single-view images. Thanks to the neural reflectance field representation, our method is robust to depth discontinuities. It supports applications like novel-view synthesis and relighting. Our code and model can be found at https://ywq.github.io/s3nerf.

연구 동기 및 목표

• 단일 시점 방법이 깊이 또는 노말 맵과 같은 2.5D 표현만 복원하여 가려진 표면나 뒷면 표면을 모델링하지 못하는 한계를 해결하기 위해.
• 단일 시점에서 다수의 점광원을 사용하여 가시 표면뿐만 아니라 비가시 부분까지 포함한 완전한 3D 시점 기하학 복원을 가능하게 하기 위해.
• 다중 시점 일致성에 의존하지 않고 단일 시점 그림자 및 그림자 신호를 활용하여 기하학과 BRDF를 동시에 최적화하는 신경 반사율 필드를 개발하기 위해.
• 지속적인 3D 시점 표현을 학습함으로써 신규 시점 합성 및 재조명과 같은 후속 응용을 지원하기 위해.

제안 방법

• 좌표 기반 MLP를 사용하여 3D 좌표를 시점 성질(기하학, BRDF, 색상)로 매핑하는 신경 반사율 필드를 정식화하여 암묵적인 3D 표현을 구현한다.
• 다양한 가시성 렌더링을 통해 3D 레이에서 픽셀 색상을 계산하며, 방향성 조명과 BRDF 모델을 포함한 물리 기반 렌더링을 통합한다.
• 3D 점에서 조명원으로의 레이 트레이싱을 통해 그림자 계산을 통합하고, 예상되는 표면 점으로 최적화를 제한함으로써 효율적인 온라인 그림자 평가를 가능하게 한다.
• 자기 캘리브레이션된 광학 스테레오 네트워크(SDPS-Net)를 사용하여 초기화함으로써, 캘리브레이션되지 않은 실세계 촬영 환경에서도 조명 위치와 방향을 동시에 최적화한다.
• 광학적 복원 손실, 노말 일致성 손실, 깊이 정규화 항을 조합한 다중 손실 목표 함수를 사용하여 기하학과 반사율 정확도를 향상시킨다.
• 다양한 점광원 조명 하에서 단일 시점 이미지에 대해 엔드 투 엔드로 훈련함으로써, 비라운드 반사율 재료와 깊이 불연속성을 포함한 복원이 가능하다.

실험 결과

연구 질문

• RQ1 다수의 점광원 조명 하에서 단일 시점에서의 그림자 및 그림자 신호를 효과적으로 활용하여, 가려진 표면과 비가시 표면까지 포함한 완전한 3D 기하학 복원이 가능한가?
• RQ2 다중 시점 일치성에 의존하지 않고 단일 시점 광학 이미지에서 그림자 및 그림자 신호를 활용하여 기하학과 BRDF를 동시에 회복할 수 있는가?
• RQ3 실세계 촬영 환경에서 조명 수와 공간 분포의 변화에 대해 이 방법은 얼마나 강건한가?
• RQ4 단일 시점에서 훈련된 후에도 이 방법이 얼마나 잘 새로운 시점 합성과 재조명을 지원할 수 있는가?
• RQ5 기존의 단일 시점 또는 다중 시점 접근법과 비교해 복잡한 재료와 깊이 불연속성이 있는 시점에서 이 방법은 어떤 성능을 보이는가?

주요 결과

• 64개의 조명을 사용할 경우, S$^3$-NeRF는 CHAIR 데이터셋에서 평균 절대 오차(MAE) 1.81, ARMADILLO 데이터셋에서 1.88을 기록하며, 깊이 오차는 9.0 mm 이하, PSNR는 40.0 이상을 확보하여 높은 복원 정밀도를 입증한다.
• 8개의 조명으로도 성능이 유지되어 CHAIR에서 MAE 2.33, ARMADILLO에서 2.51을 기록하며, 낮은 조명 수에 대한 강건성을 입증한다.
• 조명 수가 증가할수록 성능 향상: 4개 조명일 경우 MAE 30.39에서 128개 조명일 경우 1.81로 감소하여 더 많은 조명 입력이 표면 기하학을 정밀하게 개선함을 보여준다.
• 작은 또는 넓은 조명 분포에서도 그림자 신호를 활용하여 비가시 영역을 성공적으로 복원하며, 다양한 조명 범위에서 일관된 성능을 유지한다.
• 캘리브레이션되지 않은 플래시 라이트를 사용한 실세계 촬영에서도 시각적으로 타당한 노말 맵과 3D 복원을 달성하여, 수동 조명 캘리브레이션 없이도 실용성을 입증한다.
• 고품질의 새로운 시점 합성과 재조명을 지원하며, 복원 외에도 학습된 신경 반사율 필드의 유용성을 입증한다.