[论文解读] EMLight: Lighting Estimation via Spherical Distribution Approximation

Fangneng Zhan, Changgong Zhang+5 more|arXiv (Cornell University)|Dec 21, 2020

Advanced Vision and Imaging参考文献 36被引用 13

一句话总结

EMLight 提出了一种新颖的光照估计框架，将光照建模为球面分布回归问题，采用球面搬运者损失（SML）以准确回归单位球面上的光照分布。通过结合使用球面卷积的回归网络与神经投影器，EMLight 生成了保真度更高的 HDR 光照图，其频率表现更真实，着色保真度也优于当前最先进方法。

ABSTRACT

Illumination estimation from a single image is critical in 3D rendering and it has been investigated extensively in the computer vision and computer graphic research community. On the other hand, existing works estimate illumination by either regressing light parameters or generating illumination maps that are often hard to optimize or tend to produce inaccurate predictions. We propose Earth Mover Light (EMLight), an illumination estimation framework that leverages a regression network and a neural projector for accurate illumination estimation. We decompose the illumination map into spherical light distribution, light intensity and the ambient term, and define the illumination estimation as a parameter regression task for the three illumination components. Motivated by the Earth Mover distance, we design a novel spherical mover's loss that guides to regress light distribution parameters accurately by taking advantage of the subtleties of spherical distribution. Under the guidance of the predicted spherical distribution, light intensity and ambient term, the neural projector synthesizes panoramic illumination maps with realistic light frequency. Extensive experiments show that EMLight achieves accurate illumination estimation and the generated relighting in 3D object embedding exhibits superior plausibility and fidelity as compared with state-of-the-art methods.

研究动机与目标

• 通过将光照建模为球面分布，解决单图像光照估计的欠约束问题。
• 克服现有方法在回归光照参数或直接生成光照图时的局限性，这些方法通常无法保留高频光照细节。
• 通过利用球面分布中的空间结构，提升光源定位精度与着色真实感。
• 开发一种基于球面卷积的神经投影器，从估计参数生成全景、高保真度的光照图。
• 通过与最先进方法的定量与定性对比评估，证明其在重光照质量方面的优越性能。

提出的方法

• 将光照图分解为三个分量：球面光照分布、光照强度与环境项，以实现结构化回归。
• 使用单位球面上 N 个离散的锚点来建模球面光照分布，以表示光源的能量分布。
• 提出一种新型球面搬运者损失（SML），受地球移动距离启发，用于度量将一个球面分布转换为另一个所需最小的弧度距离，从而捕捉球面上的空间关系。
• 使用回归网络预测三个光照分量：通过 SML 预测光照分布，通过 L2 损失预测光照强度，通过 L2 损失预测环境项。
• 在对抗性训练设置中，采用带有球面卷积的神经投影器，生成逼真的 HDR 全景光照图。
• 应用球面卷积以处理全景图像生成中固有的球面畸变，从而在高纬度区域提升保真度。

实验结果

研究问题

• RQ1 将光照建模为球面分布是否能相比传统函数表示方式，提升光照估计的准确性？
• RQ2 球面搬运者损失（SML）是否在回归离散球面光照分布方面优于标准的 L2 或交叉熵损失？
• RQ3 基于球面卷积的神经投影器能否从估计参数中生成高保真度、逼真的 HDR 光照图？
• RQ4 锚点数量的选择如何影响球面分布回归的性能？
• RQ5 与最先进方法相比，所提出的框架在 3D 物体渲染中的重光照质量方面提升了多少？

主要发现

• EMLight（SD+SML+NP）在光照估计中表现最佳，优于使用 L2 损失或球面高斯参数化的变体。
• 球面搬运者损失（SML）通过有效捕捉球面上的空间结构，在光照分布回归方面显著优于交叉熵与 L2 损失。
• 球面卷积在生成全景光照图方面优于标准卷积，尤其在保留球面上的高频细节方面表现更优。
• 使用 128 个锚点可获得最佳性能；增加至 196 个锚点并未提升结果，甚至可能因过参数化而降低精度。
• 定性结果表明，EMLight 生成的光照逼真，阴影清晰准确，光源定位良好；而基线方法常产生过于简化或模糊的光照图。
• 在重光照任务中，EMLight 生成的渲染结果比最先进方法更具可信度与高保真度，尤其在捕捉复杂着色与阴影效果方面表现更优。