[论文解读] Light Source Estimation with Analytical Path-tracing

Mike Kasper, Nima Keivan+2 more|arXiv (Cornell University)|Jan 15, 2017

Advanced Vision and Imaging参考文献 4被引用 4

一句话总结

本文提出了一种新颖的光源估计方法，结合分析路径追踪与环境图参数化，能够从RGB-D扫描中实现高精度的光照重建。通过计算光照传输方程的解析导数，该方法利用梯度下降加速优化，即使在近距离光源情况下也能实现高保真渲染与鲁棒估计，且在真实与合成数据上均实现了亚10分钟的收敛速度。

ABSTRACT

We present a novel algorithm for light source estimation in scenes reconstructed with a RGB-D camera based on an analytically-derived formulation of path-tracing. Our algorithm traces the reconstructed scene with a custom path-tracer and computes the analytical derivatives of the light transport equation from principles in optics. These derivatives are then used to perform gradient descent, minimizing the photometric error between one or more captured reference images and renders of our current lighting estimation using an environment map parameterization for light sources. We show that our approach of modeling all light sources as points at infinity approximates lights located near the scene with surprising accuracy. Due to the analytical formulation of derivatives, optimization to the solution is considerably accelerated. We verify our algorithm using both real and synthetic data.

研究动机与目标

• 为解决基于RGB-D的场景重建中亮度恒定性与朗伯假设的局限性，这些局限性会阻碍准确的光照与表面属性估计。
• 通过用解析导数替代有限差分，克服传统路径追踪在优化中的计算低效问题。
• 通过一种将光源建模为无穷远处的环境图参数化方法，实现对近场光源位置的准确估计。
• 开发一个可扩展的框架，用于联合估计其他场景参数，如表面反照率与BRDF。

提出的方法

• 该方法使用自定义路径追踪器，模拟从RGB-D数据重建的3D场景中的光照传输。
• 通过环境图对光源进行参数化，将光源表示为无穷远处的点光源，以简化优化过程。
• 基于光学原理推导出光照传输方程的解析导数，实现无需有限差分的高效梯度计算。
• 采用序列蒙特卡洛与梯度下降法进行非线性优化，以最小化参考图像与渲染估计之间的光度误差。
• 算法通过重新追踪光线并重新计算雅可比矩阵，迭代更新光照参数，直至收敛。
• 该方法在GPU上实现导数计算，在CPU上执行优化，实现6–10轮迭代（约10分钟）内收敛。

实验结果

研究问题

• RQ1 光照传输方程的解析导数能否显著加速RGB-D重建场景中的光照优化？
• RQ2 尽管将光源建模为无穷远处，环境图参数化在估计靠近场景的真实光源时是否仍具备高精度？
• RQ3 场景几何重建误差在深度不连续处对光度误差的影响程度如何，特别是在这些区域？
• RQ4 该方法能否在包含多个面光源的复杂光照条件下，对真实与合成场景实现鲁棒的光照估计？
• RQ5 该框架是否可扩展至联合估计表面反射率与场景几何，同时进行光照估计？

主要发现

• 该算法在6–10轮序列蒙特卡洛与梯度下降迭代中收敛，单个场景的总优化时间约为10分钟。
• 光度误差在深度不连续处最高，表明场景几何重建质量直接影响估计精度。
• 尽管将光源建模为无穷远处，该方法在真实与合成数据验证中仍实现了高保真渲染与对近距离光源的准确估计。
• 环境图参数化引入的感知偏差极小，有效保持了渲染场景的真实感。
• 该方法能够实现复杂光学效应（如交互阴影与镜面高光）的真实感渲染。
• 该方法可扩展至联合估计表面反照率、BRDF与场景几何，为逆渲染提供统一框架。