[论文解读] A Learned Radiance-Field Representation for Complex Luminaires

Jorge Condor, Adrián Jarabo|arXiv (Cornell University)|Jan 1, 2022

Advanced Vision and Imaging被引用 2

一句话总结

本文提出了一种用于复杂灯具的可学习辐射场表示方法，利用神经辐射场（NeRF）编码高动态范围、高频以及零发射的光场，随后通过蒸馏转化为一种plen octree表示，以实现高效集成到传统渲染管线中。该方法在路径追踪基础上实现了高达100倍的加速，且误差极小，实现了计算成本更低的复杂灯具高保真渲染。

ABSTRACT

We propose an efficient method for rendering complex luminaires using a high-quality octree-based representation of the luminaire emission. Complex luminaires are a particularly challenging problem in rendering, due to their caustic light paths inside the luminaire. We reduce the geometric complexity of luminaires by using a simple proxy geometry and encode the visually-complex emitted light field by using a neural radiance field. We tackle the multiple challenges of using NeRFs for representing luminaires, including their high dynamic range, high-frequency content and null-emission areas, by proposing a specialized loss function. For rendering, we distill our luminaires' NeRF into a Plenoctree, which we can be easily integrated into traditional rendering systems. Our approach allows for speed-ups of up to 2 orders of magnitude in scenes containing complex luminaires introducing minimal error.

研究动机与目标

• 为解决具有焦散光路和高几何复杂度的复杂灯具渲染挑战。
• 克服传统光源近似方法（如面光源或远距离光源）在建筑可视化中牺牲真实感的局限性。
• 实现高动态范围、透明度和零发射区域的高效、高质量灯具渲染。
• 将可学习灯具表示无缝集成到标准蒙特卡洛渲染管线中。

提出的方法

• 利用简单的代理几何体降低灯具的几何复杂度。
• 使用神经辐射场（NeRF）编码复杂、高动态范围且高频的发射辐射场。
• 设计一种专用损失函数，以处理HDR内容、高角度频率以及零发射区域。
• 将训练好的NeRF蒸馏为plen octree表示，以实现在传统渲染系统中高效、GPU加速的渲染。
• 通过体素plen octree进行射线追踪，实现采样极少的快速、高质量渲染。

实验结果

研究问题

• RQ1 神经辐射场能否被有效适配以表示具有高动态范围和高频发射模式的复杂灯具？
• RQ2 如何训练NeRF以准确建模灯具中的透明和不透明元件，包括零发射区域？
• RQ3 基于NeRF的灯具表示能否被高效蒸馏为plen octree，以集成到标准渲染管线中？
• RQ4 与传统路径追踪相比，该方法在渲染速度和质量方面能实现多大的性能提升？

主要发现

• 如表5所示，该方法在传统路径追踪和体积路径追踪上实现了高达100倍的加速，且误差极小。
• 在均方根误差（RMSE）相等的情况下，该方法将渲染时间从数分钟减少到数秒——例如，在PORTICA客厅场景中，从84分钟缩短至52.4秒。
• 在DALLAS数据集上，该方法实现了31.50的PSNR和0.937的SSIM，显著优于Zhu等人[ZX*21]在质量和速度上的表现。
• 与参考路径追踪渲染结果相比，该方法生成了视觉上更优的结果，方差更低且收敛更快，如图6所示。
• plen octree表示支持高效集成到现有渲染系统中，仅需极少修改即可支持直接和间接光照。
• 即使在极低采样率下（例如4–32 spp），该方法仍保持高视觉保真度，展现出强大的鲁棒性和效率。