[논문 리뷰] Neural Ray-Tracing: Learning Surfaces and Reflectance for Relighting and View Synthesis

Julian Knodt, Joe Bartusek외 2명|arXiv (Cornell University)|2021. 04. 27.

Computer Graphics and Visualization Techniques인용 수 5

한 줄 요약

이 논문은 서피스 거리 필드를 통해 장면 기하학을 명시적으로 모델링하고, 혼합 다운스/학습된 BRDF를 통해 반사율을 모델링하는 가분리된 신경 렌더링 프레임워크인 Neural Ray-Tracing를 제안한다. 신경 장면 표현을 경로 추적 파이프라인에 통합함으로써, 효율적이고 물리적으로 타당한 다중 반사 렌더링 및 역 렌더링을 가능하게 하여, 정량적 지표와 정성적 현실성 측면에서 이전의 신경 기반 방법들을 능가한다. 이는 정확한 그림자 및 법선 예측을 포함한다.

ABSTRACT

Recent neural rendering methods have demonstrated accurate view interpolation by predicting volumetric density and color with a neural network. Although such volumetric representations can be supervised on static and dynamic scenes, existing methods implicitly bake the complete scene light transport into a single neural network for a given scene, including surface modeling, bidirectional scattering distribution functions, and indirect lighting effects. In contrast to traditional rendering pipelines, this prohibits changing surface reflectance, illumination, or composing other objects in the scene. In this work, we explicitly model the light transport between scene surfaces and we rely on traditional integration schemes and the rendering equation to reconstruct a scene. The proposed method allows BSDF recovery with unknown light conditions and classic light transports such as pathtracing. By learning decomposed transport with surface representations established in conventional rendering methods, the method naturally facilitates editing shape, reflectance, lighting and scene composition. The method outperforms NeRV for relighting under known lighting conditions, and produces realistic reconstructions for relit and edited scenes. We validate the proposed approach for scene editing, relighting and reflectance estimation learned from synthetic and captured views on a subset of NeRV's datasets.

연구 동기 및 목표

• 신경 레이디언스 필드에서 기하학, 반사율, 조명의 엔터티를 해소하여 편집 가능성과 재조명 능력을 향상시키기 위해.
• 신경 장면 표현을 사용하면서도 물리적 빛 전달의 해석 가능성과 해석 가능성을 유지하는 효율적인 가분리 경로 추적 렌더링을 가능하게 하기 위해.
• 장면 전달을 표면 기하학, BRDF, 조명으로 분리 가능한 구성요소로 분해하여 역 렌더링 및 재조명을 가능하게 하기 위해.
• 정확한 그림자 및 표면 법선을 포함하여 고해상도의 시각화 및 재조명을 달성하여 NeRF와 같은 암묵적 체적 네트워크의 한계를 극복하기 위해.
• 공간적으로 변화하는 조명을 학습 가능한 MLP로 모델링하여 알려지지 않은 조명 조건으로의 신경 렌더링 확장하기 위해.

제안 방법

• 서피스 거리 필드(SDF)를 사용하여 암묵적인 3차원 기하학을 표현함으로써 효율적인 레이-표면 교차 및 음영 계산이 가능하다.
• 해석적 다운스 성분과 학습된 공간적으로 변화하는 비다운스 성분을 조합한 분리된 BRDF 모델을 통해 복잡한 반사율을 표현한다.
• 이중분할 기반 레이 캐스팅과 계층적 교차 평가를 사용하여 O(n log n) 복잡도를 갖는 가분리 경로 추적 렌더링 파이프라인을 수행한다.
• 재귀적 경로 추적을 통해 다중 반사 간접 조명을 지원하며, 직접 조명 및 제2차 반사 조명 기여도를 명시적으로 모델링한다.
• 알려지지 않은 조명 조건을 위해, 장면 좌표와 이미지 고유의 잠재 코드에서 각 위치의 조명 강도 및 방향을 예측하는 별도의 MLP를 학습한다.
• 전체 시스템은 가분리 렌더링을 통한 엔드 투 엔드 학습을 통해 기하학, 반사율, 조명 구성요소를 독립적으로 최적화함으로써 역 렌더링 및 재조명을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경 렌더링 프레임워크가 기하학, 반사율, 조명을 분리하여 효율적인 역 렌더링 및 재조명을 가능하게 할 수 있는가?
• RQ2 신경 장면 표현을 사용하는 가분리 경로 추적 파이프라인은 계산 효율성을 유지하면서도 정확한 다중 반사 조명을 달성할 수 있는가?
• RQ3 해석적 및 학습된 BRDF 성분을 조합함으로써 순수하게 학습된 표현에 비해 렌더링 품질과 일반화 능력이 향상되는가?
• RQ4 알려지지 않은 또는 변화하는 조명 조건을 가진 실세계 장면으로 일반화 가능한가?
• RQ5 분리된 표현은 지도 학습 없이도 정확한 표면 법선과 깊이를 복원할 수 있는가?

주요 결과

• 두 성분 BRDF 모델(다운스 + 학습)은 의자 장면에서 PSNR 35.65와 MS-SSIM 0.98을 달성하여 다운스 전용(31.27 PSNR)이나 학습 전용(27.74 PSNR) 기준선보다 유의미하게 뛰어나다.
• 핫도그 장면에서는 복합 모델이 PSNR 37.70과 MS-SSIM 0.98을 기록하여 반사광과 구조적 세부 정보를 잘 포착하고 있음을 보여준다.
• NeRF와 달리 이 방법은 부드러운 그림자를 정확히 예측하고 표면 법선을 복원할 수 있다. NeRF는 암묵적 체적 표현으로 음영 계산이나 법선 복원이 불가능하기 때문이다.
• 제2차 반사 간접 조명이 효과적으로 포착되었으며, 트랙터 클로의 반사로 인해 레고 장면의 옥상에 조명이 비치는 것이 명확히 관측된다.
• 알려지지 않은 조명 조건으로 확장했을 때, BRDF의 다운스 사전 지식 덕분에 지도 없는 진짜 DTU 데이터셋 이미지에서 타당한 깊이와 법선을 회복할 수 있었다.
• O(n log n) 복잡도를 갖는 효율적인 다중 반사 렌더링을 달성하였으며, 간접 조명 측면에서 NeRV보다 속도와 품질 면에서 뛰어나다.