[论文解读] A Neural Rendering Framework for Free-Viewpoint Relighting

Zhang Chen, Anpei Chen+5 more|arXiv (Cornell University)|Nov 26, 2019

Computer Graphics and Visualization Techniques参考文献 59被引用 5

一句话总结

本文提出了一种可重光照的神经渲染器（RNR），通过显式建模图像形成过程中的可学习组件——环境光照、物体固有属性和光照传输函数（LTF），实现了同时的自由视角视图合成与重光照。通过结合基于物理的渲染过程，RNR在合成数据集和真实世界数据集上均优于当前最先进方法，在视图合成与重光照性能方面表现更优。

ABSTRACT

We present a novel Relightable Neural Renderer (RNR) for simultaneous view synthesis and relighting using multi-view image inputs. Existing neural rendering (NR) does not explicitly model the physical rendering process and hence has limited capabilities on relighting. RNR instead models image formation in terms of environment lighting, object intrinsic attributes, and light transport function (LTF), each corresponding to a learnable component. In particular, the incorporation of a physically based rendering process not only enables relighting but also improves the quality of view synthesis. Comprehensive experiments on synthetic and real data show that RNR provides a practical and effective solution for conducting free-viewpoint relighting.

研究动机与目标

• 为解决现有神经渲染方法因隐式建模图像形成过程而导致无法实现重光照的局限性。
• 实现在非受控光照条件下，从多视角图像中同时实现高质量的新视角合成与重光照。
• 通过显式分离外观为具有物理意义的组件（光照、固有属性和光照传输），提升视图合成质量。
• 通过端到端建模完整渲染流程，将神经渲染能力扩展至固定光照或视角之外。
• 为真实世界与合成场景中的自由视角重光照提供实用且高效解决方案。

提出的方法

• RNR将图像形成过程分解为三个可学习组件：环境光照、物体固有属性和光照传输函数（LTF）。
• 采用可微分的、基于物理的正向投影模型，整合光照、材质和传输组件以建模渲染过程。
• LTF取代传统参数化BRDF模型，能够更准确地建模全局光照效应。
• 通过组合重建损失、感知损失和对抗损失，端到端训练网络，以同时优化视图合成与重光照性能。
• RNR使用3D代理（如SfM生成）作为几何监督，并通过可微分渲染操作投影深层特征。
• 该框架使用相同架构同时支持视图合成与重光照，其中重光照通过操作学习到的光照组件实现。

实验结果

研究问题

• RQ1 神经渲染框架能否通过显式建模物理渲染组件，同时实现高质量的视图合成与重光照？
• RQ2 与隐式神经渲染相比，引入可学习的光照传输函数（LTF）在多大程度上提升了重光照保真度与视图合成质量？
• RQ3 RNR在稀疏视角与几何不准确的真实世界场景中，其泛化能力如何？
• RQ4 在不同光照与视角条件下，RNR与最先进方法在视图合成与重光照方面的表现如何比较？
• RQ5 当初始光照不完整或部分拼接时，RNR能否生成一致的重光照结果？

主要发现

• 在合成数据上，RNR在Bunny数据集上达到PSNR 30.87和SSIM 0.94，显著优于DeepVoxels（17.97/0.76）和DeferredNR（24.38/0.81）。
• 在真实世界场景（Beauty、Apple、Dyck）中，RNR在所有测试方法中均取得最高PSNR与SSIM，且更有效地保留了锐利细节并减少了伪影。
• 在视图外推任务中，RNR生成的结果比DeferredNR更连贯，避免了错误高光与颜色块等视觉伪影。
• 在多视角自然光照数据库中的Pig场景中，尽管面临训练视角数量少和相机参数不准确的挑战，RNR仍生成了比[54]更真实的重光照结果。
• RNR对不完整的环境图表现出鲁棒性，即使仅从输入视角中获取环境图的一小部分，也能成功生成合理的重光照结果。
• 消融实验表明，重建损失、感知损失与对抗损失的组合在视图合成与重光照任务中均取得了最佳性能。