[论文解读] Fast Image-based Neural Relighting with Translucency-Reflection Modeling

Shizhan Zhu, Shunsuke Saito+4 more|arXiv (Cornell University)|Jun 15, 2023

Computer Graphics and Visualization Techniques被引用 4

一句话总结

本文提出了一种基于体素渲染的神经重光照框架，通过端到端优化实现对具有次表面散射（SSS）效应的半透明物体的几何与辐射传输的联合学习。通过从光场数据中学习辐射传输梯度，该方法在平均PSNR性能上相比现有最优方法提升5分，且在新型光照与视角下实现了高保真重光照，无需假设预定义的BRDF/BSSRDF模型。

ABSTRACT

Image-based lighting (IBL) is a widely used technique that renders objects using a high dynamic range image or environment map. However, aggregating the irradiance at the object's surface is computationally expensive, in particular for non-opaque, translucent materials that require volumetric rendering techniques. In this paper we present a fast neural 3D reconstruction and relighting model that extends volumetric implicit models such as neural radiance fields to be relightable using IBL. It is general enough to handle materials that exhibit complex light transport effects, such as translucency and glossy reflections from detailed surface geometry, producing realistic and compelling results. Rendering can be within a second at 800$ imes$800 resolution (0.72s on an NVIDIA 3090 GPU and 0.30s on an A100 GPU) without engineering optimization. Our code and dataset are available at https://zhusz.github.io/TRHM-Webpage/.

研究动机与目标

• 为解决神经渲染中半透明及次表面散射（SSS）材质的重光照挑战，现有方法因BRDF/BSSRDF建模与几何重建的局限而难以处理此问题。
• 在不假设特定材质表示（如BRDF或BSSRDF）的前提下，实现新型光照与视角下的高保真重光照。
• 通过端到端学习联合优化外观与形状，提升光学厚实半透明材质的几何重建质量。
• 收集并发布一个大规模、高保真的光场数据集（15TiB），涵盖具有显著SSS效应的真实物体，以支持未来研究。

提出的方法

• 该方法利用体素渲染，从光场中不同光照条件下捕获的图像估计辐射传输场。
• 将辐射传输梯度建模为可学习场，实现在统一框架中对外观与几何的可微分优化。
• 利用明暗、纹理与反射等外观线索，端到端优化几何，提升重建保真度。
• 该方法在无需预估表面或显式材质参数化的情况下，联合优化几何与辐射传输。
• 采用512³分辨率的密度场，通过等值面提取（marching cubes）生成高质量网格，实现对绳索等细长复杂结构的精确表示。
• 该框架在新采集的光场数据集上进行训练，该数据集包含15TiB的高分辨率、高频空间变化细节。

Figure 1 . Our approach reconstructs objects with significant subsurface scattering effects with high fidelity and inserts models into arbitrary environments for relighting. It is fully data-driven and does not assume a particular material representation (such as BRDF or BSSRDF), and can faithfully

实验结果

研究问题

• RQ1 基于数据驱动的神经重光照框架是否能在不假设预定义BRDF或BSSRDF的前提下，实现具有强次表面散射效应的半透明物体的高保真渲染？
• RQ2 与分离优化方法相比，几何与辐射传输的端到端优化在重建与重光照质量方面有何提升？
• RQ3 基于体素渲染的辐射传输场模型在处理复杂材质行为（如光在表面下的透射与半透明阴影）方面的能力如何？
• RQ4 在使用大规模、高保真光场数据集进行训练与评估时，PSNR与视觉保真度的性能增益可达何种程度？

主要发现

• 在三个数据集上，该方法相比现有最优方法平均PSNR提升5分，展现出优越的定量性能。
• 无论在实录光照还是新型光照条件下，该方法均能生成视觉上合理且高保真的重光照结果，即使对于肥皂、蜡烛等复杂半透明材质亦然。
• 该方法能够重建高质量几何结构，包括绳索等细长复杂结构，这些结构对基于网格的表示方法极具挑战。
• 与以往将几何与外观优化分离的方法相比，该端到端优化框架显著减少了伪影。
• 在真实与合成的SSS数据集上，该方法在视觉保真度与几何精度方面均优于当前SOTA基线方法（如IRON、InverseTranslucent与NRTF）。
• 失败案例表明，该框架在处理镜面高光与锐利阴影边界方面仍存在局限，说明当前框架未显式建模镜面反射与阴影特性。

Figure 2 . Despite presented with significant subsurface scattering and translucency in the scene, our approach provides the highest geometric reconstruction quality compared to other approaches (NVMC [Hasselgren et al . , 2022 ] ; NRTF [Lyu et al . , 2022 ] via Neus [Wang et al . , 2021 ] ). For ou