[论文解读] DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using Unsupervised Domain-Classifier Guided Network

Yeying Jin, Aashish Sharma+1 more|arXiv (Cornell University)|Jul 21, 2022

Image Enhancement Techniques被引用 9

一句话总结

该论文提出DC-ShadowNet，一种用于单图去阴影的无监督深度学习方法，通过联合利用领域分类器、基于物理的色度、抗阴影特征以及边界平滑损失，有效处理硬阴影和软阴影。该方法在定量和定性评估中均优于当前最先进方法，并支持测试时训练以进一步提升性能。

ABSTRACT

Shadow removal from a single image is generally still an open problem. Most existing learning-based methods use supervised learning and require a large number of paired images (shadow and corresponding non-shadow images) for training. A recent unsupervised method, Mask-ShadowGAN~\cite{Hu19}, addresses this limitation. However, it requires a binary mask to represent shadow regions, making it inapplicable to soft shadows. To address the problem, in this paper, we propose an unsupervised domain-classifier guided shadow removal network, DC-ShadowNet. Specifically, we propose to integrate a shadow/shadow-free domain classifier into a generator and its discriminator, enabling them to focus on shadow regions. To train our network, we introduce novel losses based on physics-based shadow-free chromaticity, shadow-robust perceptual features, and boundary smoothness. Moreover, we show that our unsupervised network can be used for test-time training that further improves the results. Our experiments show that all these novel components allow our method to handle soft shadows, and also to perform better on hard shadows both quantitatively and qualitatively than the existing state-of-the-art shadow removal methods. Our code is available at: \url{https://github.com/jinyeying/DC-ShadowNet-Hard-and-Soft-Shadow-Removal}.

研究动机与目标

• 解决现有监督去阴影方法依赖大量成对阴影与非阴影图像数据集的局限性。
• 开发一种无监督方法，能够在无需二值阴影掩码的情况下处理硬阴影和软阴影。
• 提升在灰色或白色等消色差表面以及复杂阴影边界上的去阴影鲁棒性。
• 支持使用未标注测试图像进行测试时训练，以实现性能优化。
• 将领域分类器集成到GAN框架中，引导生成器和判别器聚焦于阴影区域。

提出的方法

• 在生成器和判别器中均集成阴影/无阴影领域分类器，以聚焦学习于阴影区域。
• 采用基于物理的无阴影色度损失，该损失源自对数色度空间中熵最小化，以强制保持色度一致性。
• 利用预训练VGG-16网络提取的抗阴影感知特征，以在阴影条件下保留结构细节。
• 应用边界平滑损失，确保输出中阴影边界的自然过渡。
• 利用无监督损失（色度、特征、平滑）进行训练，无需真实标签监督。
• 支持使用相同无监督损失进行测试时训练，以进一步优化未见图像的结果。

实验结果

研究问题

• RQ1 无监督GAN方法是否能在无需成对训练数据的情况下，有效去除硬阴影和软阴影？
• RQ2 在缺乏真实标签的情况下，集成领域分类器如何提升对阴影区域的关注度和去阴影质量？
• RQ3 基于物理的色度损失和抗阴影特征在处理灰色或白色等挑战性表面时，能多大程度上提升性能？
• RQ4 在无监督设置下，测试时训练是否能进一步提升结果？
• RQ5 各个组件（损失函数和领域分类器）对整体性能的贡献程度如何？

主要发现

• 在SRD数据集上，DC-ShadowNet实现最低RMSE（4.66）和最高PSNR（31.31），优于当前最先进方法。
• 在LRSS数据集上，该方法实现RMSE 3.48和PSNR 31.01，经测试时训练后进一步提升至RMSE 3.36和PSNR 31.31。
• 消融实验表明，若移除任意一个所提损失或组件，性能均出现显著下降，验证了其必要性。
• 该方法成功去除了Mask-ShadowGAN因依赖二值掩码而失败的软阴影。
• 定性结果表明，伪影更少，表面恢复更佳，尤其在阴影边界和消色差区域表现更优。
• 测试时训练使PSNR提升0.13，RMSE降低0.12，证明了自优化的有效性。