[논문 리뷰] NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis

Pratul P. Srinivasan, Boyang Deng외 4명|arXiv (Cornell University)|2020. 12. 07.

Advanced Vision and Imaging인용 수 5

한 줄 요약

NeRV는 신경 볼륨 표현을 도입하여 MLP를 사용해 반사율과 가시성 필드를 동시에 예측함으로써, 임의의 조명 조건에서 사진 수준의 새로운 시점 합성과 재조명을 가능하게 한다. 가시성과 표면 교차를 학습 가능한 함수로 모델링함으로써 훈련 중에 직접 및 간접 조명을 효율적으로 시뮬레이션하며, 복잡한 조명 환경에서 이전 방법들을 능가하면서도 고해상도 렲링을 유지한다.

ABSTRACT

We present a method that takes as input a set of images of a scene illuminated by unconstrained known lighting, and produces as output a 3D representation that can be rendered from novel viewpoints under arbitrary lighting conditions. Our method represents the scene as a continuous volumetric function parameterized as MLPs whose inputs are a 3D location and whose outputs are the following scene properties at that input location: volume density, surface normal, material parameters, distance to the first surface intersection in any direction, and visibility of the external environment in any direction. Together, these allow us to render novel views of the object under arbitrary lighting, including indirect illumination effects. The predicted visibility and surface intersection fields are critical to our model's ability to simulate direct and indirect illumination during training, because the brute-force techniques used by prior work are intractable for lighting conditions outside of controlled setups with a single light. Our method outperforms alternative approaches for recovering relightable 3D scene representations, and performs well in complex lighting settings that have posed a significant challenge to prior work.

연구 동기 및 목표

• 임의의 제약 없는 조명 조건에서 촬영된 이미지로부터 고해상도 3D 시cene 재구성을 가능하게 한다.
• 직접 조명 및 다중 조명원을 포함한 복잡한 조명 조건에서의 새로운 시점 합성과 재조명을 지원한다.
• 신경 볼륨 렌더링에서 브루트 포스 조명 전달 시뮬레이션의 계산 비용 문제를 해결하기 위해 가시성 및 교차 필드를 학습함으로써 해결한다.
• 다중 점광원 및 환경 맵와 같은 복잡한 조명 설정에 대한 일반화 능력을 향상시킨다.
• 기하학, 재질, 가시성을 동시에 최적화할 수 있는 미분 가능하고 종단 간(end-to-end) 훈련 가능한 프레임워크를 제공한다.

제안 방법

• 방법은 3D 공간 좌표를 입력으로 사용하는 MLP로 매개변수화된 연속적인 볼륨 함수로 3D 시cene를 표현한다.
• MLP는 부피 밀도, 표면 법선, 재질 파라미터, 첫 번째 표면 교차 거리, 그리고 모든 방향으로의 외부 환경의 가시성을 출력한다.
• 훈련 중 조명 전달을 위한 고비용의 브루트 포스 레이 마르칭을 대체하기 위해 신경 가시성 필드(NVF)를 도입한다.
• 직접 및 한 번의 반사 간접 조명을 고려하는 물리 기반의 이미지 형성 모델을 사용한 미분 가능한 볼륨 렌더링을 사용한다.
• 형태 MLP의 교차 거리와 기울기에서 분석적으로 표면 법선을 계산함으로써 정확도와 훈련 안정성을 향상시킨다.
• 알려진 조명 조건 하에서 렌더링된 이미지와 관측된 입력 이미지 간의 차이를 최소화하기 위해 경사 하강법으로 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 신경 필드 표현이 반사율과 가시성을 동시에 모델링하여 임의의 조명 조건에서 재조명을 가능하게 할 수 있는가?
• RQ2 신경 볼륨 표현에서 가시성과 표면 교차를 효율적으로 모델링하면 복잡한 조명 시뮬레이션을 훈련 중에 실현 가능하게 할 수 있는가?
• RQ3 브루트 포스 레이 마르칭에 의존하지 않고 가시성 필드를 학습함으로써 다중 또는 환경 조명 조건이 적용된 시나리오에서 성능 향상이 이루어지는가?
• RQ4 한 번의 반사 간접 조명을 모델링하면 복잡한 조명 환경에서 렌더링 품질이 얼마나 향상되는가?
• RQ5 MLP 예측 표면 법선과 분석적 계산 표면 법선 간의 선택이 재구성 정확도와 시각적 품질에 미치는 영향은 어느 정도인가?

주요 결과

• NeRV는 다중 점광원 및 환경 맵를 포함한 복잡한 조명 조건에서 모든 베이스라인을 능가하며, 이전 방법이 실패하거나 상당히 성능 저하가 발생하는 시나리오에서도 뛰어난 성능을 보인다.
• 'Ambient+Point' 조명 조건에서 NeRV는 Hotdogs 데이터셋에서 PSNR 25.06, Lego 데이터셋에서 PSNR 23.79를 기록하여 NLT 베이스라인 및 잠재 코드 방법을 능가한다.
• 제거 실험 결과 간접 조명을 모델링함으로써 시각적 품질 향상이 이루어졌으며, Lego 빌도저의 그림자 영역에서 밝아진 현상과 같은 눈에 띄는 상호 반사 효과가 관찰되었다.
• 분석적 표면 법선을 사용할 경우 MLP 예측 법선보다 더 정확한 법선을 얻을 수 있었으며, 'Ambient+Point' 조건 하에서 Hotdogs 데이터셋에서 PSNR가 1.14 향상되었다.
• 훈련 중에 볼 수 없었던 새로운 시점과 조명 조건에 대해서도 잘 일반화되어 있으며, 조명 변화에 대한 강건성을 입증하였다.
• 가시성 필드 덕분에 각 조명에 대한 레이 마르칭을 피함으로써 렌더링을 효율적으로 수행하였으며, 계산 비용을 감소시키면서도 고해상도 품질을 유지하였다.