[论文解读] Learning Object-Centric Neural Scattering Functions for Free-Viewpoint Relighting and Scene Composition

Hong-Xing Yu, Michelle Guo+6 more|arXiv (Cornell University)|Mar 10, 2023

Computer Graphics and Visualization Techniques被引用 8

一句话总结

OSFs 学会从二维图像近似累积辐射传输函数，以实现自由视点重照明和场景合成，适用于不透明和半透明物体，采用神经隐式、面向对象的表示。

ABSTRACT

Photorealistic object appearance modeling from 2D images is a constant topic in vision and graphics. While neural implicit methods (such as Neural Radiance Fields) have shown high-fidelity view synthesis results, they cannot relight the captured objects. More recent neural inverse rendering approaches have enabled object relighting, but they represent surface properties as simple BRDFs, and therefore cannot handle translucent objects. We propose Object-Centric Neural Scattering Functions (OSFs) for learning to reconstruct object appearance from only images. OSFs not only support free-viewpoint object relighting, but also can model both opaque and translucent objects. While accurately modeling subsurface light transport for translucent objects can be highly complex and even intractable for neural methods, OSFs learn to approximate the radiance transfer from a distant light to an outgoing direction at any spatial location. This approximation avoids explicitly modeling complex subsurface scattering, making learning a neural implicit model tractable. Experiments on real and synthetic data show that OSFs accurately reconstruct appearances for both opaque and translucent objects, allowing faithful free-viewpoint relighting as well as scene composition.

研究动机与目标

• 推动支持从二维图像进行再照明和场景合成的写实对象外观建模。
• 开发面向对象的表示，捕捉子表面光传输而无需显式子表面模型。
• 通过学习累积辐射传输函数，实现自由视点重照明和场景合成。
• 在真实与合成数据上展示对半透明和不透明对象的有效性。

提出的方法

• 定义并建模将远处入射光映射到每个空间位置的出射辐射的累积辐射传输函数ρ。
• 用对象中心的神经散射函数（OSFs）表示对象外观，结合ρ和密度σ，从（x, ω_light, ω_out）预测。
• 在每个设置下仅使用单一远光照条件，从多视角二维图像训练OSFs，利用体渲染原理和受 Nerf 启发的采样。
• 通过近似ρ来处理半透明和不透明物体的子表面散射，避免显式且代价高昂的子表面传输计算。
• 通过将对象分解为许多小型MLP并从教师OSF模型进行蒸馏，使用KiloOSF显著加速渲染。
• 提出一种实用的场景合成方法，通过在单一远光照下将多个对象的OSFs结合起来，包括直接光和一次间接照明。

实验结果

研究问题

• RQ1 OSFs 是否能够从二维图像准确建模不透明和半透明物体的辐射传输？
• RQ2 OSFs 是否支持在新光照条件下实现自由视点重照明和真实的场景合成？
• RQ3 与真实数据和合成数据相比，基于OSFs的重照明在与 state-of-the-art 神经重照明和反向渲染方法的比较中表现如何？
• RQ4 使用 KiloOSF 进行可扩展场景渲染时在渲染速度和质量之间的权衡是什么？

主要发现

• OSFs 基于对二维图像的学习，实现了对半透明和不透明物体的可信自由视点重照明。
• OSFs 支持在单个远光下对多对象进行场景合成，生成与基线相比更合理的结果。
• 在合成数据和真实数据上的实验表明，OSFs 在重照明任务的 PSNR、SSIM、LPIPS 指标上超越若干基线。
• KiloOSF 通过使用多小型 MLP 及蒸馏在不牺牲渲染质量的情况下显著加速渲染。
• 该方法利用一个可处理的累积辐射传输公式，避免了显式的子表面散射积分。