[论文解读] Inverse Rendering for Complex Indoor Scenes: Shape, Spatially-Varying Lighting and SVBRDF from a Single Image

Zhengqin Li, Mohammad Shafiei+3 more|arXiv (Cornell University)|May 7, 2019

Computer Graphics and Visualization Techniques参考文献 5被引用 16

一句话总结

本文提出了一种深度逆向渲染框架，能够从复杂室内场景的单张RGB图像中重建出形状、空间变化的光照以及空间变化的BRDF。通过结合基于物理的GPU渲染器与使用可微渲染和SVSG光照的级联网络，该方法在联合重建任务中达到了最先进性能，可实现如物体插入和材质编辑等逼真应用。

ABSTRACT

We propose a deep inverse rendering framework for indoor scenes. From a single RGB image of an arbitrary indoor scene, we create a complete scene reconstruction, estimating shape, spatially-varying lighting, and spatially-varying, non-Lambertian surface reflectance. To train this network, we augment the SUNCG indoor scene dataset with real-world materials and render them with a fast, high-quality, physically-based GPU renderer to create a large-scale, photorealistic indoor dataset. Our inverse rendering network incorporates physical insights -- including a spatially-varying spherical Gaussian lighting representation, a differentiable rendering layer to model scene appearance, a cascade structure to iteratively refine the predictions and a bilateral solver for refinement -- allowing us to jointly reason about shape, lighting, and reflectance. Experiments show that our framework outperforms previous methods for estimating individual scene components, which also enables various novel applications for augmented reality, such as photorealistic object insertion and material editing. Code and data will be made publicly available.

研究动机与目标

• 解决复杂室内场景中形状、光照和反射率在单张图像中纠缠导致的病态逆向渲染问题。
• 实现从单张RGB图像中同时进行场景组件（几何、空间变化的光照、非朗伯材质）的完整重建。
• 克服先前方法的局限性，这些方法仅关注孤立组件或受限场景（如单个物体或均匀光照）。
• 通过在SUNCG基础上添加高质量真实世界材质，并使用基于物理的GPU渲染器进行渲染，构建大规模逼真合成数据集。
• 开发一种可微的、嵌入网络的渲染层，利用空间变化的球面高斯函数建模光传输效应（如遮挡和多次反射）。

提出的方法

• 该方法使用深度神经网络的级联结构，迭代优化反照率、法线、粗糙度、深度和光照的预测结果。
• 可微渲染层使用空间变化的球面高斯函数（SVSG）计算场景辐射度，以建模光照并考虑局部光传输效应。
• 训练数据集通过将SUNCG的材质替换为来自真实3D材质数据集的逼真SVBRDF，并利用深度特征映射以保留场景语义而生成。
• 网络采用多分量损失函数进行训练，包括感知损失、几何损失、反射率损失和渲染损失，以确保输出的逼真性。
• 在优化阶段应用双边求解器，以提升空间一致性并减少最终预测中的伪影。
• 在真实数据集（IIW和NYU）上进行微调，结合合成与真实数据，使用数据增强和序数反射率监督。

实验结果

研究问题

• RQ1 深度神经网络能否从复杂室内场景的单张RGB图像中联合重建出形状、空间变化的光照和空间变化的BRDF？
• RQ2 如何将光传输和BRDF模型等物理先验嵌入深度学习框架，以提升重建质量和泛化能力？
• RQ3 通过引入真实世界材质和基于物理的渲染增强的合成数据集，能在多大程度上实现对真实图像的泛化？
• RQ4 可微渲染层是否能够支持端到端训练，从而保留高频光照和阴影效果？
• RQ5 采用具有迭代优化的级联结构对逆向渲染各组件的精度有何影响？

主要发现

• 所提方法在合成和真实数据上的定量指标下，均优于先前最先进方法，在形状、光照和反射率等单个场景组件的估计上表现更优。
• 网络实现了逼真的虚拟物体插入，即使对于高光、镜面物体，也能生成真实的阴影和多次反射效果，已在真实图像上得到验证。
• 通过替换表面材质实现了成功的材质编辑，同时保持了正确的光照交互，包括镜面高光。
• 在真实数据集（IIW和NYU）上进行微调后，模型在真实世界图像上仍能生成高质量结果，尽管训练数据为合成数据。
• 使用空间变化的球面高斯函数（SVSG）可准确建模高频光照和复杂光传输，包括遮挡和多次反射。
• 可微渲染层支持通过渲染过程的反向传播，实现几何、反射率和光照的联合优化。