[论文解读] Auto-Exposure Fusion for Single-Image Shadow Removal

Lan Fu, Changqing Zhou+6 more|arXiv (Cornell University)|Mar 1, 2021

Image Enhancement Techniques参考文献 36被引用 6

一句话总结

本文提出了一种名为自动曝光融合（Auto-Exposure Fusion）的新颖单图去阴影方法，将去阴影问题建模为曝光融合问题。通过估计输入图像的多个过曝版本，并利用具有边界感知能力的融合网络（FusionNet）与边界感知细化网络（RefineNet），该方法自适应地融合这些图像，生成无痕迹、自然的无阴影结果，在 ISTD、ISTD+ 和 SRD 数据集上实现了最先进性能，阴影区域的 RMSE 达到 6.5。

ABSTRACT

Shadow removal is still a challenging task due to its inherent background-dependent and spatial-variant properties, leading to unknown and diverse shadow patterns. Even powerful state-of-the-art deep neural networks could hardly recover traceless shadow-removed background. This paper proposes a new solution for this task by formulating it as an exposure fusion problem to address the challenges. Intuitively, we can first estimate multiple over-exposure images w.r.t. the input image to let the shadow regions in these images have the same color with shadow-free areas in the input image. Then, we fuse the original input with the over-exposure images to generate the final shadow-free counterpart. Nevertheless, the spatial-variant property of the shadow requires the fusion to be sufficiently `smart', that is, it should automatically select proper over-exposure pixels from different images to make the final output natural. To address this challenge, we propose the shadow-aware FusionNet that takes the shadow image as input to generate fusion weight maps across all the over-exposure images. Moreover, we propose the boundary-aware RefineNet to eliminate the remaining shadow trace further. We conduct extensive experiments on the ISTD, ISTD+, and SRD datasets to validate our method's effectiveness and show better performance in shadow regions and comparable performance in non-shadow regions over the state-of-the-art methods. We release the model and code in https://github.com/tsingqguo/exposure-fusion-shadow-removal.

研究动机与目标

• 解决自然图像中阴影导致的空间变化性色彩与照度退化问题。
• 克服现有深度学习方法在背景依赖性和空间变化性阴影模式下难以实现无痕迹背景恢复的局限。
• 开发一种灵活的、逐像素融合多个过曝图像的方法，以恢复具有准确色彩与照度一致性的阴影区域。
• 通过边界感知细化网络进一步优化融合结果，消除残留阴影痕迹，尤其在半影区域。
• 在保持非阴影区域高质量结果的同时，实现在阴影区域的最先进性能。

提出的方法

• 首先通过在输入阴影图像上应用不同的曝光水平，估计出多个过曝图像，以增强阴影区域。
• 提出一种阴影感知的 FusionNet，用于在多个过曝图像之间生成逐像素的融合权重图，实现在每个空间位置自适应选择最优像素。
• FusionNet 使用可学习的基于核的注意力机制，根据阴影上下文动态分配权重，确保融合结果自然。
• 引入一种边界感知的 RefineNet，通过一种新颖的边界损失函数，进一步减少残留阴影痕迹，尤其在半影区域。
• 边界损失 $\mathcal{L}_{\text{bd}}$ 的设计旨在保留非阴影区域的同时，鼓励在阴影区域中准确恢复真实无阴影内容。
• 整体框架通过结合 L1 损失、感知损失和边界损失进行端到端训练，以优化结构与视觉保真度。

实验结果

研究问题

• RQ1 多个过曝融合是否能比单曝光或基于物理模型的补光方法在去阴影方面提供更高的灵活性与准确性？
• RQ2 深度网络如何智能地融合多个过曝图像，以在阴影区域保持内容与色彩一致性？
• RQ3 边界感知细化网络在多大程度上能减少半影区域的残留阴影痕迹？
• RQ4 所提方法是否在性能上优于最先进方法，特别是在无痕迹背景恢复方面？
• RQ5 过曝图像的数量如何影响最终融合质量以及对空间变化性阴影模式的鲁棒性？

主要发现

• 所提方法在 ISTD+ 数据集上的阴影区域实现了 6.5 的 RMSE，优于最先进方法 SP+M-Net（7.06 RMSE），尤其在半影区域表现更优。
• Fusion+RefineNet 模型相比 Fusion-N5 将 RMSE 降低了 0.3，证明了边界感知 RefineNet 在消除残留痕迹方面的有效性。
• 引入边界损失 $\mathcal{L}_{\text{bd}}$ 进一部提升性能，在 ISTD+ 数据集上使阴影区域 RMSE 降至 6.5，整体 RMSE 降至 4.2。
• 当阴影区域内的真实曝光变化较大时，多过曝方法（N=5）相比单过曝方法（N=1）展现出显著性能优势。
• 该方法在非阴影区域保持了相当的性能（RMSE 3.8），同时显著提升了阴影区域的结果，表明其具备鲁棒性与泛化能力。
• 消融实验表明，多过曝（N=5）性能最佳，阴影区域 RMSE 为 6.9，且边界损失对实现无痕迹结果至关重要。