[论文解读] AIM 2020: Scene Relighting and Illumination Estimation Challenge

Majed El Helou, Ruofan Zhou+35 more|arXiv (Cornell University)|Sep 27, 2020

Image Enhancement Techniques参考文献 56被引用 14

一句话总结

本论文介绍了2020年场景重光照与光照估计挑战赛，引入了VIDIT数据集——一个大规模、受控的虚拟数据集，包含300个场景，每个场景在40种光照条件下渲染而成。该挑战赛评估了单对单重光照、光照估计以及任意对任意重光照的方法，顶尖参赛作品通过采用光照引导特征匹配和多阶段训练的深度学习架构，在PSNR和SSIM指标上取得了优异表现。

ABSTRACT

We review the AIM 2020 challenge on virtual image relighting and illumination estimation. This paper presents the novel VIDIT dataset used in the challenge and the different proposed solutions and final evaluation results over the 3 challenge tracks. The first track considered one-to-one relighting; the objective was to relight an input photo of a scene with a different color temperature and illuminant orientation (i.e., light source position). The goal of the second track was to estimate illumination settings, namely the color temperature and orientation, from a given image. Lastly, the third track dealt with any-to-any relighting, thus a generalization of the first track. The target color temperature and orientation, rather than being pre-determined, are instead given by a guide image. Participants were allowed to make use of their track 1 and 2 solutions for track 3. The tracks had 94, 52, and 56 registered participants, respectively, leading to 20 confirmed submissions in the final competition stage.

研究动机与目标

• 通过引入具有完整光照变化的受控、大规模虚拟数据集，建立深度图像重光照的基准。
• 评估最先进方法在单对单重光照中的表现，即输入图像从固定光源光照重光照至固定目标光照。
• 评估光照估计性能，即模型从单张图像中预测色温和光照方向的能力。
• 通过提供引导图像实现对任意重光照场景的泛化，使无需预定义源-目标配对即可实现灵活重光照。
• 提供基于PSNR、SSIM、LPIPS和复合平均感知分数（MPS）的标准化评估框架，以实现公平比较。

提出的方法

• VIDIT数据集包含300个虚拟场景，每个场景从8个方位角方向在5种色温下渲染，每场景共40张图像，分辨率为1024×1024。
• 在赛道1（单对单重光照）中，模型通过端到端深度神经网络训练，将输入图像从北向（6500K）重光照至东向（4500K）光照。
• 在赛道2中，通过专用网络训练预测色温和方向，利用真实标签从单张图像中进行光照估计。
• 在赛道3（任意对任意重光照）中，模型利用引导图像推断目标光照，通过拼接和特征匹配方法结合输入图像与引导图像的特征。
• 关键技术在于利用预训练的光照网络匹配引导图像与生成图像之间的中间特征表示。
• 网络采用残差块、像素洗牌层以提高效率，并通过分阶段训练（先不完整后完整）以提升收敛性和性能。

实验结果

研究问题

• RQ1 在受控光照变化的虚拟数据集中，深度学习模型在单对单重光照任务中的表现如何？
• RQ2 在无真实标签监督的情况下，模型从单张图像中估计光照参数（色温和方向）的能力有多强？
• RQ3 当提供一张展示目标光照的引导图像时，模型能否泛化至任意重光照场景？
• RQ4 与直接像素级损失相比，使用特征级光照匹配在重光照任务中能带来多大性能提升？
• RQ5 在VIDIT基准上，不同网络架构和训练策略在PSNR、SSIM和感知质量（LPIPS）方面的表现如何比较？

主要发现

• 赛道1中表现最佳的方法获得了0.921的平均感知分数（MPS），表明其在结构相似性和感知质量方面与真实值高度一致。
• 赛道2的解决方案在光照估计中表现出高精度，预测的色温和方向在测试集中与真实值高度吻合。
• 在赛道3中，最佳方法获得了0.892的MPS，表明其能有效利用引导图像实现对任意重光照场景的泛化。
• 采用特征级光照匹配显著提升了感知质量，表现为LPIPS分数更低、SSIM值更高，优于基线方法。
• 粗到细训练与残差网络的结合显著加快了收敛速度并提升了性能，尤其在复杂光照过渡中表现更优。
• VIDIT数据集因其受控的合成特性，实现了可靠的全参考评估，使其成为未来重光照研究的宝贵基准。