[论文解读] Deep Relighting Networks for Image Light Source Manipulation

Wang, Li-Wen, Wan-Chi Siu+3 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Vision and Imaging参考文献 37被引用 4

一句话总结

本文提出了一种深度重布光网络（DRN），将单图重布光建模为三个阶段：通过增强反投影的自编码器进行场景重建，利用对抗性阴影先验估计模块预测新光照方向下的光照效果，最后通过重渲染生成目标光照条件下的图像。该方法在性能上达到当前最先进水平，在AIM2020图像重布光挑战赛中获得最高PSNR得分。

ABSTRACT

Manipulating the light source of given images is an interesting task and useful in various applications, including photography and cinematography. Existing methods usually require additional information like the geometric structure of the scene, which may not be available for most images. In this paper, we formulate the single image relighting task and propose a novel Deep Relighting Network (DRN) with three parts: 1) scene reconversion, which aims to reveal the primary scene structure through a deep auto-encoder network, 2) shadow prior estimation, to predict light effect from the new light direction through adversarial learning, and 3) re-renderer, to combine the primary structure with the reconstructed shadow view to form the required estimation under the target light source. Experimental results show that the proposed method outperforms other possible methods, both qualitatively and quantitatively. Specifically, the proposed DRN has achieved the best PSNR in the "AIM2020 - Any to one relighting challenge" of the 2020 ECCV conference.

研究动机与目标

• 解决单图重布光问题，无需依赖几何场景先验或显式的三维结构信息。
• 实现在单张图像中对光照方向与色温的联合操控，生成逼真的阴影与光照效果。
• 通过解耦场景结构与光照效应，提升重布光图像的质量与结构一致性。
• 通过引入阴影区域判别器，克服在隐式光照效应监督下训练的困难。

提出的方法

• DRN采用带有反投影层的深度自编码器，从单张图像中重建主场景结构，保留下采样与上采样过程中的空间细节。
• 阴影先验估计模块采用对抗学习，结合一种新颖的阴影区域判别器，从新的光源方向与色温中预测逼真的光照效果。
• 重渲染模块将重建的场景结构与预测的阴影先验结合，生成目标光源条件下的最终图像。
• 网络采用端到端训练，结合感知损失与对抗损失，实现在无真实光照效果监督下的高保真重布光。
• 将反投影理论融入自编码器中，以稳定特征学习并提升重建保真度。
• 该方法专为“任意到单一”重布光任务设计，即将任意输入光照转换为特定的目标光照设置。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖几何先验或三维场景信息的前提下，生成逼真的重布光效果？
• RQ2 当缺乏显式监督时，如何准确预测并渲染新光源下的阴影效果？
• RQ3 反投影理论是否能增强自编码器架构中的特征重建能力，从而提升重布光性能？
• RQ4 当光照效应难以直接测量时，对抗学习在多大程度上可提升重布光图像的逼真度？
• RQ5 统一的网络架构能否在单图设置下泛化于多种光源配置（方向与色温）？

主要发现

• 所提出的DRN在VIDIT验证数据集上取得了17.59 dB的最高PSNR，优于U-Net、Retinex-Net与Pix2Pix。
• 在AIM2020图像重布光挑战赛（Track 1：任意到单一）的最终测试阶段，DRN在PSNR指标上排名第一。
• 视觉对比显示，DRN能正确操控光照方向与色温，同时最小化伪影并保持阴影一致性。
• 该方法在具有挑战性的场景中成功重构了阴影，例如接近全黑的输入图像，在结构恢复与阴影逼真度方面优于U-Net与Pix2Pix。
• 阴影区域判别器显著提升了训练稳定性与图像逼真度，尤其在低光照或高对比度场景中表现突出。
• 尽管性能优异，当输入图像信息严重丢失（如完全黑暗区域）时，网络在恢复精细结构细节方面仍存在局限，表明其图像修复能力有待提升。