[论文解读] VIDIT: Virtual Image Dataset for Illumination Transfer

Majed El Helou, Ruofan Zhou+2 more|arXiv (Cornell University)|May 11, 2020

Image Enhancement Techniques参考文献 8被引用 39

一句话总结

VIDIT 提供一个大型虚拟数据集用于光照转移，包含在 40 种光照配置下渲染的 390 个场景，共 15,600 张图像用于基准重光方法。它拆分为公开训练/验证集和用于基准测试的私有测试集。

ABSTRACT

Deep image relighting is gaining more interest lately, as it allows photo enhancement through illumination-specific retouching without human effort. Aside from aesthetic enhancement and photo montage, image relighting is valuable for domain adaptation, whether to augment datasets for training or to normalize input test data. Accurate relighting is, however, very challenging for various reasons, such as the difficulty in removing and recasting shadows and the modeling of different surfaces. We present a novel dataset, the Virtual Image Dataset for Illumination Transfer (VIDIT), in an effort to create a reference evaluation benchmark and to push forward the development of illumination manipulation methods. Virtual datasets are not only an important step towards achieving real-image performance but have also proven capable of improving training even when real datasets are possible to acquire and available. VIDIT contains 300 virtual scenes used for training, where every scene is captured 40 times in total: from 8 equally-spaced azimuthal angles, each lit with 5 different illuminants.

研究动机与目标

• 促进深度图像重照明用于美学增强、领域适应和归一化。
• 创建用于光照操作方法的参考评估基准。
• 提供一个数据集，能够在固定场景和光照配置中对光照转移进行定量评估。

提出的方法

• 使用 Unreal Engine 4 渲染 1024×1024 场景，使用一个全向光源。
• 对每个场景捕获 40 种光照设置：5 种色温和 8 个光方向。
• 手动选择并修剪场景，避免重复并确保从各个角度的有效光照。
• 记录每张渲染图像的光照设置和深度信息。
• 将数据分成 train（300 场景，12,000 张图像） public、validation（45 场景，1,800 张图像） public、和 test（45 场景，1,800 张图像） private。

实验结果

研究问题

• RQ1 在不同光照下，场景能否预测光源方向和色温？
• RQ2 能否将输入图像转换以匹配目标域的光照设置（任意对一的光照转移）？
• RQ3 输入图像能否重新照明以匹配单独引导图像的光照（任意对任意的光照转移）？

主要发现

• 数据集包含 390 个场景，在 40 个预设光照设置下渲染，总计 15,600 张图像。
• 训练集包含 12,000 张来自 300 个场景（公开）；验证集有 1,800 张来自 45 个场景（公开）；测试集有 1,800 张来自 45 个场景（私有）。
• 图像分辨率为 1024×1024，并包括深度信息。
• 光照设置覆盖 5 种色温（2500K、3500K、4500K、5500K、6500K）和 8 个方向（N、NE、E、SE、S、SW、W、NW）。
• 数据集旨在使用引导输入或光照设置评估任意对一和任意对任意的光照风格迁移。