[논문 리뷰] Fast Image-based Neural Relighting with Translucency-Reflection Modeling

Shizhan Zhu, Shunsuke Saito외 4명|arXiv (Cornell University)|2023. 06. 15.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

이 논문은 부면 산란(SSS) 효과가 있는 반투명 물체를 위한 볼륨 렌더링 기반 신경망 재조명 프레임워크를 제안한다. 이 프레임워크는 빛 스테이지 데이터로부터 반사율 전달 기울기를 학습함으로써 기하구조와 복사율 전달을 종단 간(end-to-end) 최적화하며, 사전 정의된 BRDF/BSSRDF 모델을 가정하지 않고도 새로운 조명 조건과 시점에서 최고 수준의 PSNR 성능(평균 5점 향상)과 고해상도 재조명을 달성한다.

ABSTRACT

Image-based lighting (IBL) is a widely used technique that renders objects using a high dynamic range image or environment map. However, aggregating the irradiance at the object's surface is computationally expensive, in particular for non-opaque, translucent materials that require volumetric rendering techniques. In this paper we present a fast neural 3D reconstruction and relighting model that extends volumetric implicit models such as neural radiance fields to be relightable using IBL. It is general enough to handle materials that exhibit complex light transport effects, such as translucency and glossy reflections from detailed surface geometry, producing realistic and compelling results. Rendering can be within a second at 800$ imes$800 resolution (0.72s on an NVIDIA 3090 GPU and 0.30s on an A100 GPU) without engineering optimization. Our code and dataset are available at https://zhusz.github.io/TRHM-Webpage/.

연구 동기 및 목표

• 기존 방법이 BRDF/BSSRDF 모델링과 기하구조 복원의 한계로 인해 신경 렌더링에서 반투명 및 부면 산란(SSS) 물체의 재조명 문제를 해결하지 못하는 데에 대비하여 이를 해결하고자 한다.
• 특정 물질 표현 방식(예: BRDF 또는 BSSRDF)을 가정하지 않고도 새로운 조명 조건과 시점에서 고해상도 재조명을 가능하게 하고자 한다.
• 종단 간 학습을 통한 통합 최적화를 통해 광학적으로 두꺼운 반투명 물체의 기하구조 복원 품질을 향상시키고자 한다.
• 실제 물체에 강한 SSS 효과가 두드러지는 대규모 고해상도 빛 스테이지 데이터셋(15TiB)을 수집하고 공개하여 향후 연구를 지원하고자 한다.

제안 방법

• 빛 스테이지에서 다양한 조명 조건 하에서 촬영한 이미지로부터 볼륨 렌더링을 사용해 반사율 전달 필드를 추정한다.
• 반사율 전달 기울기를 학습 가능한 필드로 설정함으로써, 통합된 프레임워크 내에서 외관과 기하구조의 미분 가능 최적화를 가능하게 한다.
• 그림자, 질감, 반사율 등의 외관 신호를 사용해 기하구조를 종단 간으로 정밀하게 개선함으로써 복원 정밀도를 향상시킨다.
• 사전 추정된 표면이나 명시적 물질 파rameterization이 필요 없이 기하구조와 반사율 전달을 함께 최적화한다.
• 512³ 해상도의 밀도 필드를 활용해 마치징 컷스를 통해 고품질 메쉬를 추출함으로써 로프와 같은 얇고 복잡한 구조물의 정확한 표현을 가능하게 한다.
• 풍부하고 고주파의 공간적으로 변화하는 세부 정보를 포함한 15TiB 크기의 새로운 빛 스테이지 데이터셋을 기반으로 프레임워크를 훈련시킨다.

Figure 1 . Our approach reconstructs objects with significant subsurface scattering effects with high fidelity and inserts models into arbitrary environments for relighting. It is fully data-driven and does not assume a particular material representation (such as BRDF or BSSRDF), and can faithfully

실험 결과

연구 질문

• RQ1 사전 정의된 BRDF나 BSSRDF를 가정하지 않고도 데이터 기반 신경망 재조명 프레임워크가 강한 부면 산란 효과를 갖는 반투명 물체를 고해상도로 렌더링할 수 있는가?
• RQ2 기하구조와 반사율 전달을 종단 간 최적화하는 방식이 별도로 최적화하는 방법에 비해 복원 및 재조명 품질을 얼마나 향상시키는가?
• RQ3 볼륨 렌더링 기반 반사율 전달 필드 모델이 빛의 표면 아래 통과 및 반투명한 그림자와 같은 복잡한 물질 거동을 얼마나 잘 다룰 수 있는가?
• RQ4 대규모 고해상도 빛 스테이지 데이터셋을 훈련 및 평가에 사용할 경우 PSNR와 시각적 정밀도에서 얼마나 높은 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 방법은 세 가지 데이터셋에서 기존 최고 성능 방법보다 평균 5점의 PSNR 향상을 달성하여 열등한 정량적 성능을 입증하였다.
• 기록된 조명 조건뿐 아니라 새로운 조명 조건에서도 실제로도 시각적으로 자연스럽고 고해상도의 재조명 결과를 생성하였으며, 비눗물이나 촡시와 같은 복잡한 반투명 물체에 대해서도 성능을 유지를 하였다.
• 메쉬 기반 표현 방식이 어려운 얇고 정교한 구조물(예: 로프)까지도 고품질 기하구조를 복원하였다.
• 기존 방법과 달리 기하구조와 외관 최적화를 분리하지 않고 종단 간 최적화 프레임워크를 사용함으로써 잡음과 아티팩트를 크게 감소시켰다.
• 실제 및 합성 SSS 데이터셋에서 IRON, InverseTranslucent, NRTF 등의 최신 기준 방법들보다 시각적 정밀도와 기하구조 정확도에서 모두 뛰어난 성능을 보였다.
• 실패 케이스는 반사광과 날카로운 그림자 경계를 다루는 데에 한계를 보이며, 현재 프레임워크가 특별히 반사광과 그림자 모델링을 명시적으로 고려하지 않는다는 점을 시사한다.

Figure 2 . Despite presented with significant subsurface scattering and translucency in the scene, our approach provides the highest geometric reconstruction quality compared to other approaches (NVMC [Hasselgren et al . , 2022 ] ; NRTF [Lyu et al . , 2022 ] via Neus [Wang et al . , 2021 ] ). For ou