[论文解读] EverLight: Indoor-Outdoor Editable HDR Lighting Estimation

Mohammad Reza Karimi Dastjerdi, Jonathan Eisenmann+2 more|arXiv (Cornell University)|Apr 26, 2023

Advanced Vision and Imaging被引用 4

一句话总结

EverLight 提出了一种统一的、可编辑的HDR光照估计方法，能够从单张图像生成高保真度的360°全景图，结合了参数化的球面高斯光源与基于GAN的全景图生成技术。通过引入光照共调制机制，该方法实现了室内和室外场景的无缝编辑，同时在真实感和可编辑性方面达到了当前最优水平。

ABSTRACT

Because of the diversity in lighting environments, existing illumination estimation techniques have been designed explicitly on indoor or outdoor environments. Methods have focused specifically on capturing accurate energy (e.g., through parametric lighting models), which emphasizes shading and strong cast shadows; or producing plausible texture (e.g., with GANs), which prioritizes plausible reflections. Approaches which provide editable lighting capabilities have been proposed, but these tend to be with simplified lighting models, offering limited realism. In this work, we propose to bridge the gap between these recent trends in the literature, and propose a method which combines a parametric light model with 360° panoramas, ready to use as HDRI in rendering engines. We leverage recent advances in GAN-based LDR panorama extrapolation from a regular image, which we extend to HDR using parametric spherical gaussians. To achieve this, we introduce a novel lighting co-modulation method that injects lighting-related features throughout the generator, tightly coupling the original or edited scene illumination within the panorama generation process. In our representation, users can easily edit light direction, intensity, number, etc. to impact shading while providing rich, complex reflections while seamlessly blending with the edits. Furthermore, our method encompasses indoor and outdoor environments, demonstrating state-of-the-art results even when compared to domain-specific methods.

研究动机与目标

• 通过构建统一框架，弥合室内与室外场景下专用光照估计方法之间的差距。
• 在保留真实反射和阴影效果的前提下，支持用户对HDR光照参数（强度、方向、颜色、光源数量）进行编辑。
• 结合基于GAN的全景图生成技术的真实感与参数化光照模型的可解释性。
• 在无需领域特定适配的情况下，实现在室内和室外环境中的竞争性性能表现。
• 提出一种新颖的光照共调制机制，在图像生成过程中紧密耦合光照编辑与生成器特征。

提出的方法

• 利用在LDR全景图外推任务上训练的GAN生成器，通过引入球面高斯光照表示扩展至HDR领域。
• 引入光照共调制模块，将光照特征注入生成器的残差块中，确保编辑后的光照与场景几何结构实现一致融合。
• 使用学习型光照编码器，从单张RGB图像预测HDR球面高斯参数（位置、强度、颜色）。
• 采用感知损失、对抗损失和L1损失的组合进行端到端训练，以保持纹理和光照保真度。
• 通过代理网络对输入全景图应用动态范围扩展，以恢复过曝像素，提升HDR估计精度。
• 采用前馈生成器结合风格与光照共调制，确保光照属性的解耦与可控编辑。

实验结果

研究问题

• RQ1 单一深度学习框架是否能够在室内和室外场景中均实现HDR光照估计的最先进性能？
• RQ2 光照共调制在实现可编辑光源与复杂场景纹理之间真实融合方面的有效性如何？
• RQ3 基于GAN的生成器在不依赖专用硬件或领域特定数据的情况下，能否生成高质量且可编辑的HDR全景图？
• RQ4 将参数化光照建模与基于GAN的合成方法结合，是否在真实感和可编辑性方面优于纯参数化或纯生成式方法？
• RQ5 该方法在多样化光照条件下是否具备良好的泛化能力，同时保持准确的阴影与反射特性？

主要发现

• EverLight在室外测试集上的Fréchet Inception Distance（FID）为38.44，在室内测试集上为78.90，优于不可编辑和领域专用的基线方法。
• 消融实验表明，若移除光照共调制，室外场景的FID上升至50.29，表明其在真实光照融合中起着关键作用。
• 定性结果表明，经过编辑的光源能在水面和抛光地板等表面上产生合理的反射效果，即使在复杂场景中亦然。
• 该方法成功生成了具有真实感的HDR全景图，支持用户对光照参数进行直观编辑，且不损害纹理质量。
• 尽管使用了代理真实光照作为监督信号，模型在真实世界场景中仍表现出良好泛化能力，对光照多样性具有鲁棒性。
• 该框架在性能上与领域专用方法相当，证明其作为室内与室外光照估计统一解决方案的有效性。