[论文解读] Shadow Transfer: Single Image Relighting For Urban Road Scenes

Alexandra Carlson, Ram Vasudevan+1 more|arXiv (Cornell University)|Sep 23, 2019

Image Enhancement Techniques参考文献 38被引用 6

一句话总结

本文提出 Shadow Transfer，一种自监督深度学习框架，仅使用 RGB 图像、深度图和语义分割掩码，即可通过转移真实阴影、明暗和色温来实现单张户外城市场景的重新照明。该方法在合成数据集（CARLA-sun）和真实数据集（KITTI-sun）上均优于最先进图像到图像翻译方法，在视觉质量和照片真实感方面表现更优，且无需标注光照信息。

ABSTRACT

Illumination effects in images, specifically cast shadows and shading, have been shown to decrease the performance of deep neural networks on a large number of vision-based detection, recognition and segmentation tasks in urban driving scenes. A key factor that contributes to this performance gap is the lack of `time-of-day' diversity within real, labeled datasets. There have been impressive advances in the realm of image to image translation in transferring previously unseen visual effects into a dataset, specifically in day to night translation. However, it is not easy to constrain what visual effects, let alone illumination effects, are transferred from one dataset to another during the training process. To address this problem, we propose deep learning framework, called Shadow Transfer, that can relight complex outdoor scenes by transferring realistic shadow, shading, and other lighting effects onto a single image. The novelty of the proposed framework is that it is both self-supervised, and is designed to operate on sensor and label information that is easily available in autonomous vehicle datasets. We show the effectiveness of this method on both synthetic and real datasets, and we provide experiments that demonstrate that the proposed method produces images of higher visual quality than state of the art image to image translation methods.

研究动机与目标

• 为解决由于阴影和色温等光照条件变化导致的自动驾驶任务中深度神经网络性能下降问题。
• 开发一种无需标注光照数据即可对真实世界城市场景实现逼真光照效果重新照明的方法。
• 构建一个自监督框架，利用自动驾驶车辆数据集中常见的易获取传感器数据——RGB 图像、深度图和语义分割掩码。
• 通过使用逼真光照转移增强训练数据，提升基于视觉模型（如检测、分割）对一天中光照变化的鲁棒性。
• 通过生成保持几何和材质一致性的照片真实感重新照明图像，弥合合成数据与真实世界数据之间的域差距。

提出的方法

• 该框架采用深度编码器-解码器架构，通过基于预训练 SunEst-CNN 模型特征的多任务损失进行自监督训练。
• 输入包括单张相机视图获取的 RGB 图像、预测的深度图和语义分割图。
• 模型通过条件输入几何与外观信息，学习转移光照效果——包括阴影、明暗和全局色温，以预测重新照明后的 RGB 图像。
• 关键创新在于使用 SunEst-CNN 特征损失，以鼓励模型保留与光照相关的特征，从而提升真实感，且无需真实光照标签。
• 该方法端到端运行，可实现任意时间条件下的重新照明，无需多视角或材质属性先验。
• 框架在合成数据（CARLA-sun）上进行训练，并在真实数据（KITTI-sun）上微调，从而实现向真实世界场景的泛化。

实验结果

研究问题

• RQ1 自监督深度学习模型能否仅使用标准自动驾驶车辆传感器数据，有效将逼真阴影和明暗效果转移到单张户外场景图像上？
• RQ2 与最先进多域图像到图像翻译模型相比，所提出的 Shadow Transfer 框架在视觉质量与伪影生成方面表现如何？
• RQ3 深度图与语义分割图输入在提升重新照明输出图像的真实感与准确性方面贡献有多大？
• RQ4 引入特定域的特征损失（SunEst-CNN）是否能提升模型捕捉真实世界场景中一天中光照变化的能力？
• RQ5 该模型能否在保持照片真实感并最小化伪影的前提下，从合成数据泛化到真实世界城市道路场景？

主要发现

• 在 CARLA-sun 合成数据集上，Shadow Transfer 在所有光源位置均实现了高于 ComboGAN 和 StarGAN 的平均结构相似性（MSSIM），表明其感知质量更优。
• 与 ComboGAN 相比，该方法产生的视觉伪影更少（如模糊和失真），尽管 ComboGAN 成功捕捉了色温和阴影，但仍引入了明显翻译伪影。
• 消融研究显示，将深度图与分割图联合作为输入可显著提升图像质量，优于单独使用任一模态，而 SunEst-CNN 损失则提供了次要但有意义的改进。
• 在真实 KITTI-sun 数据集上，包含 SunEst-CNN 损失的完整模型成功转移了光照特征，而无此损失的模型则未能传递任何有意义的光照效果。
• 仅使用深度图的模型保留了更真实的像素统计特性，而仅使用分割图的模型则更好地捕捉了动态阴影分布，表明两种输入具有互补优势。
• 尽管性能表现强劲，该模型在高频噪声和局部纹理细节方面仍存在困难，可能源于输入深度图与分割图分辨率较低。