[论文解读] Fast Shadow Detection from a Single Image Using a Patched Convolutional Neural Network

Sepideh Hosseinzadeh, Moein Shakeri+1 more|arXiv (Cornell University)|Sep 26, 2017

Video Surveillance and Tracking Methods参考文献 20被引用 8

一句话总结

本文提出了一种基于分块卷积神经网络（CNN）的快速、高精度阴影检测方法，该方法利用超像素分割和通过支持向量机（SVM）生成的阴影先验图，以降低计算成本。通过在超像素级别特征上进行训练，并利用第二次CNN前向传播对边缘像素进行细化，该方法在保持基准数据集上具有竞争力的准确率的同时，推理速度比当前最先进（SOTA）的深度学习方法快达两个数量级。

ABSTRACT

In recent years, various shadow detection methods from a single image have been proposed and used in vision systems; however, most of them are not appropriate for the robotic applications due to the expensive time complexity. This paper introduces a fast shadow detection method using a deep learning framework, with a time cost that is appropriate for robotic applications. In our solution, we first obtain a shadow prior map with the help of multi-class support vector machine using statistical features. Then, we use a semantic- aware patch-level Convolutional Neural Network that efficiently trains on shadow examples by combining the original image and the shadow prior map. Experiments on benchmark datasets demonstrate the proposed method significantly decreases the time complexity of shadow detection, by one or two orders of magnitude compared with state-of-the-art methods, without losing accuracy.

研究动机与目标

• 为解决现有基于深度学习的阴影检测方法时间复杂度高的问题，该问题限制了其在实时机器人应用中的使用。
• 通过利用超像素分割和学习到的阴影先验，提升计算效率，同时不牺牲检测精度。
• 通过将推理时间缩短至每张图像低于2秒，实现实时阴影检测，适用于机器人应用。
• 开发一种对不同光照条件和图像质量具有鲁棒性的方法，且无需对光照或相机模型做任何假设。
• 在实际应用（如道路检测和航拍成像）中验证该方法的有效性。

提出的方法

• 首先使用均值漂移算法将输入图像分割为超像素，以降低空间复杂度。
• 从每个超像素中提取颜色和纹理特征，并将其输入到训练好的多分类SVM中，生成指示每个区域为阴影概率的阴影先验图。
• 将原始RGB图像与阴影先验图拼接后输入到分块级CNN中，以在超像素级别预测阴影概率图。
• 通过重新应用相同的分块级CNN对超像素之间的边界像素进行细化，以提高定位精度。
• 通过两阶段预测生成最终的阴影概率图：第一阶段基于区域（使用超像素特征），第二阶段基于边缘（用于边界细化）。
• 该方法避免了逐像素预测，显著降低了计算负载，同时保持了空间一致性和精度。

实验结果

研究问题

• RQ1 能否在将时间复杂度降低一到两个数量级的同时，实现与最先进方法相当的检测精度？
• RQ2 将超像素分割与学习到的阴影先验图结合，是否能有效提升推理速度而不降低性能？
• RQ3 在超像素特征上训练的分块级CNN，是否能在阴影检测的速度和精度上优于像素级CNN？
• RQ4 与单阶段方法相比，两阶段预测（基于区域和基于边缘）是否能显著改善阴影检测中的边界定位？
• RQ5 所提出的方法能否在实际机器人应用（如道路检测和航拍成像）中有效应用？

主要发现

• 在SBU数据集上，该方法的测试时间降低至每张图像1.87秒，相比第二快的方法（Stacked-CNN）快了100倍。
• 在合并数据集上，该方法的测试时间达到每张图像1.55秒，显著快于所有统计方法和深度学习基线方法。
• 该方法保持了具有竞争力的精度，在合并数据集上达到91.03%的整体准确率，优于单变量-成对方法，并与表现最佳的SOTA方法持平。
• 通过SVM生成的阴影先验图提升了CNN的泛化能力，使模型能够实现更快的训练和推理，且精度损失极小。
• 在圣卢西亚、UACampus及航拍图像上的定性结果表明，生成的概率图质量高，证明了该方法在多样化真实场景下的鲁棒性。
• 两阶段细化过程显著改善了边界定位，尤其在阴影边界模糊的复杂场景中表现突出。