[论文解读] Appearance Harmonization for Single Image Shadow Removal

Liqian Ma, Jue Wang+3 more|arXiv (Cornell University)|Mar 21, 2016

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 5

一句话总结

本文提出阴影区域融合（Shadow Region Harmonization, SRH），一种通过利用图像中非阴影区域的块状合成自动校正去阴影图像中色彩与纹理不一致性的方法。该方法在CIELab色彩空间中采用引导式、置信度感知的重建过程，显著提升了视觉质量，并在基准数据集上优于当前最先进方法。

ABSTRACT

Shadows often create unwanted artifacts in photographs, and removing them can be very challenging. Previous shadow removal methods often produce de-shadowed regions that are visually inconsistent with the rest of the image. In this work we propose a fully automatic shadow region harmonization approach that improves the appearance compatibility of the de-shadowed region as typically produced by previous methods. It is based on a shadow-guided patch-based image synthesis approach that reconstructs the shadow region using patches sampled from non-shadowed regions. The result is then refined based on the reconstruction confidence to handle unique image patterns. Many shadow removal results and comparisons are show the effectiveness of our improvement. Quantitative evaluation on a benchmark dataset suggests that our automatic shadow harmonization approach effectively improves upon the state-of-the-art.

研究动机与目标

• 解决现有去阴影技术生成的去阴影区域中存在的视觉不一致性问题。
• 实现在无需人工输入的情况下，对阴影区域实现全自动、完全自动化的融合处理。
• 通过使色彩与纹理与非阴影区域对齐，提升去阴影图像的视觉保真度。
• 通过基于图像块的对应关系与置信度加权，处理复杂材质、柔光阴影及纹理变化。
• 提供一种与任何现有去阴影方法兼容的后处理解决方案。

提出的方法

• 该方法采用基于图像块的图像合成框架，利用同一图像中非阴影区域采样的图像块来重建阴影区域。
• 在阴影区域与非阴影区域之间建立局部、基于图像块的对应关系，以估计参数化的外观校正模型。
• 该校正模型在CIELab色彩空间中对L通道应用增益，对a和b通道应用偏置，以实现色彩与纹理的融合。
• 按图像块计算合成置信度，优先选择可靠匹配，并在具有独特纹理或对应关系较差的区域优化结果。
• 通过优化过程整合置信度值，确保在弱匹配或模糊匹配区域也能实现稳健的校正。
• 该方法以初始去阴影结果为引导，因此可与任何先前的去阴影算法兼容。

实验结果

研究问题

• RQ1 是否能够通过完全自动化的手段有效校正去阴影图像中的色彩与纹理不一致性？
• RQ2 如何将基于图像块的合成方法适配于在阴影区域与非阴影区域之间实现一致且稳健的外观融合？
• RQ3 置信度加权的图像块匹配在具有独特纹理或对应关系差的区域中，能在多大程度上提升结果质量？
• RQ4 色彩空间的选择以及增益/偏置参数的设定，如何影响外观融合的性能表现？
• RQ5 该方法在不同类型的阴影（包括柔光阴影与复杂材质）上是否具备良好的泛化能力？

主要发现

• 所提出的SRH方法在定性和定量评估中均显著提升了视觉质量，优于当前最先进去阴影技术。
• 在基准数据集上，Model 0（CIELab色彩空间中L通道增益与ab通道偏置）在所测试的色彩模型中表现最佳。
• 中间范围的参数设置（L增益 [0.9,1.11]，ab偏置 [-0.05,0.05]）误差最低，被选定为所有报告结果的参数配置。
• 该方法对噪声和残留阴影具有鲁棒性，在α=0.2且存在高斯噪声的情况下，仍能成功校正色彩分布与纹理细节。
• 该方法能有效减少阴影区域内部的不一致性，但无法完全解决边界不连续性或阴影检测失败的问题。
• 不同参数范围之间的性能差异较小，表明对超参数设置具有较强的鲁棒性。