[论文解读] A Reflectance Based Method For Shadow Detection and Removal

Sri Kalyan Yarlagadda, Fengqing Zhu|arXiv (Cornell University)|Jul 11, 2018

Video Surveillance and Tracking Methods参考文献 10被引用 4

一句话总结

本文提出了一种无需训练的阴影检测方法，利用反射率、纹理和亮度特性，识别彩色图像中的阴影-非阴影区域对。通过利用中值颜色差异、角度阈值和迭代优化，该方法在UIUC数据集上达到90.6%的阴影检测准确率，在UCF数据集上达到92.0%，且参数量少于深度学习或CRF-based方法。

ABSTRACT

Shadows are common aspect of images and when left undetected can hinder scene understanding and visual processing. We propose a simple yet effective approach based on reflectance to detect shadows from single image. An image is first segmented and based on the reflectance, illumination and texture characteristics, segments pairs are identified as shadow and non-shadow pairs. The proposed method is tested on two publicly available and widely used datasets. Our method achieves higher accuracy in detecting shadows compared to previous reported methods despite requiring fewer parameters. We also show results of shadow-free images by relighting the pixels in the detected shadow regions.

研究动机与目标

• 为解决单色图像中阴影检测的挑战，特别是在阴影与明暗变化视觉上难以区分的情况下。
• 开发一种参数量少于深度学习或CRF-based方法，同时保持高检测准确率的方法。
• 通过利用反射率与光照一致性，准确识别阴影区域，实现有效的阴影去除。
• 通过基于反射率、纹理和亮度的分段级比较，提升复杂场景下的鲁棒性。

提出的方法

• 该方法首先使用高斯核大小为9的Quickshift算法对图像进行分割，以将具有相似反射率和光照特性的像素分组。
• 反射率分类器计算非阴影区域中值颜色与差值向量（I_NS - I_S）之间的夹角，应用10°阈值以识别相同材质的区域对。
• 亮度分类器通过Otsu方法施加灰度阈值，确保阴影区域更暗，从而将阴影区域限制在低亮度区域。
• 纹理分类器比较区域对之间的局部纹理特征（使用局部二值模式），以增强阴影检测的置信度。
• 基于初始区域对构建连接图，并通过几何一致性和强度一致性进行迭代优化，以提高掩码精度。
• 优化过程包括使用更小的核（大小为3）重新分割，并根据超过70%的像素是否低于Otsu阈值，将区域标记为阴影或非阴影。

实验结果

研究问题

• RQ1 仅基于反射率与光照一致性，非训练方法能否实现高精度的阴影检测？
• RQ2 在不同光照条件下，中值颜色向量之间的角度准则在区分阴影与明暗变化方面有多有效？
• RQ3 基于分段级的反射率、纹理和亮度比较，能否在参数更少的情况下超越基于学习的方法？
• RQ4 对区域连接关系的迭代优化在多大程度上提升了阴影掩码的精度？

主要发现

• 在UIUC数据集上，该方法实现了90.6%的阴影检测准确率，优于单变量+成对方法（71.6%）和ConvNet方法（84.7%）。
• 在UIUC数据集上，该方法的平衡错误率（BER）为0.119，略高于ConvNet的0.099，但参数更少，仍具竞争力。
• 在更复杂的UCF数据集上，该方法实现了92.0%的阴影检测准确率，优于BDT-BCRF（63.9%）、单变量+成对方法（73.3%）和ConvNet方法（78.0%）。
• 在UCF数据集上的BER为0.1265，优于所有对比方法，表明其在类别不平衡数据上的强性能。
• 该方法通过重光照技术成功在测试图像中去除了阴影，展示了其在图像增强中的实际应用价值。
• 使用更小核和Otsu阈值的优化过程提升了边界精度，减少了来自极亮区域的误报。