[论文解读] Modeling Indirect Illumination for Inverse Rendering

Yuanqing Zhang, Jiaming Sun+4 more|arXiv (Cornell University)|Apr 14, 2022

Advanced Vision and Imaging被引用 7

一句话总结

该论文提出了一种高效的方法，通过从神经辐射场推导出的光照模型，实现逆渲染中空间变化的间接照明建模，从而能够从未知光照下的多视角RGB图像中准确恢复无阴影和互反射影响的反照率与粗糙度。通过将间接照明估计与联合优化解耦，该方法避免了昂贵的递归路径追踪，实现了在SVBRDF恢复和自由视角重光照方面的最先进性能。

ABSTRACT

Recent advances in implicit neural representations and differentiable rendering make it possible to simultaneously recover the geometry and materials of an object from multi-view RGB images captured under unknown static illumination. Despite the promising results achieved, indirect illumination is rarely modeled in previous methods, as it requires expensive recursive path tracing which makes the inverse rendering computationally intractable. In this paper, we propose a novel approach to efficiently recovering spatially-varying indirect illumination. The key insight is that indirect illumination can be conveniently derived from the neural radiance field learned from input images instead of being estimated jointly with direct illumination and materials. By properly modeling the indirect illumination and visibility of direct illumination, interreflection- and shadow-free albedo can be recovered. The experiments on both synthetic and real data demonstrate the superior performance of our approach compared to previous work and its capability to synthesize realistic renderings under novel viewpoints and illumination. Our code and data are available at https://zju3dv.github.io/invrender/.

研究动机与目标

• 解决在未知静态光照条件下逆渲染中建模间接照明的挑战。
• 降低基于物理渲染中递归路径追踪带来的计算不可行性。
• 将反照率与粗糙度与原本会“烘焙”进反照率的间接照明效应解耦。
• 通过恢复的SVBRDF与光照参数，实现出色的自由视角重光照。
• 提升对具有复杂材质的真实物体逆渲染的准确性与鲁棒性。

提出的方法

• 该方法首先使用现成的方法，从多视角RGB图像中学习神经辐射场与几何结构。
• 间接照明被建模为一个多层感知机（MLP），将三维表面点映射到其入射间接辐射度，该模型基于学习到的出射辐射场推导而来。
• 使用出射辐射度作为监督信号训练间接照明MLP，实现无需递归路径追踪的高效且可微分的估计。
• 通过基于球谐函数（SG）的可见性估计来建模直接照明的可见性，以提高渲染精度。
• 采用稀疏潜在空间编码器-解码器来表示空间变化的BRDF（反照率与粗糙度），通过施加有限材质类型的先验来减少歧义。
• 完整渲染方程整合了学习到的间接照明（在SVBRDF与环境光优化过程中保持固定），从而实现稳定且高效的逆渲染。

实验结果

研究问题

• RQ1 是否可以在不使用递归路径追踪的情况下，高效地在逆渲染中建模间接照明？
• RQ2 是否可以基于预训练的神经辐射场推导出间接照明，从而将其与几何与材质的联合优化解耦？
• RQ3 建模间接照明是否能改善逆渲染中反照率与粗糙度的解耦？
• RQ4 所提方法是否能在新视角与新光照条件下实现高质量的重光照？
• RQ5 与先前工作相比，该方法在恢复空间变化BRDF及处理真实世界材质方面表现如何？

主要发现

• 在合成数据集上，所提方法在SVBRDF恢复与重光照方面表现最佳，优于基线方法与修改后的PhySG。
• 定量结果表明，完整模型在合成测试场景中达到PSNR为26.1846、SSIM为0.9902、LPIPS为0.0449。
• 消融研究证实，若省略间接照明建模，将导致反照率与环境光估计偏亮，表明间接效应被错误地吸收进反照率中。
• 若缺少SVBRDF的潜在空间表示，则粗糙度预测出现噪声，证明了所提先验的重要性。
• 在真实世界图像捕获中，该方法成功恢复了合理的反照率、粗糙度与法线图，实现了在新光照下的逼真重光照。
• 定性结果与补充视频表明，该方法支持高视觉保真度的自由视角重光照。