[论文解读] Robust Glare Detection: Review, Analysis, and Dataset Release

Mahdi Abolfazli Esfahani, Han Wang|arXiv (Cornell University)|Oct 12, 2021

Impact of Light on Environment and Health参考文献 14被引用 7

一句话总结

本文提出了一种基于改进U-Net架构的鲁棒耀斑检测方法，通过在多种图像表示形式（RGB、HSV、色度（C）和梯度（G））上进行训练，以提高分割精度。主要贡献在于发布了首个公开可用的耀斑检测数据集，并发现结合RGB与梯度表示形式可获得最佳F1分数（0.4927），优于单一或全部表示形式的组合，原因在于其互补的特征信息。

ABSTRACT

Sun Glare widely exists in the images captured by unmanned ground and aerial vehicles performing in outdoor environments. The existence of such artifacts in images will result in wrong feature extraction and failure of autonomous systems. Humans will try to adapt their view once they observe a glare (especially when driving), and this behavior is an essential requirement for the next generation of autonomous vehicles. The source of glare is not limited to the sun, and glare can be seen in the images captured during the nighttime and in indoor environments, which is due to the presence of different light sources; reflective surfaces also influence the generation of such artifacts. The glare's visual characteristics are different on images captured by various cameras and depend on several factors such as the camera's shutter speed and exposure level. Hence, it is challenging to introduce a general - robust and accurate - algorithm for glare detection that can perform well in various captured images. This research aims to introduce the first dataset for glare detection, which includes images captured by different cameras. Besides, the effect of multiple image representations and their combination in glare detection is examined using the proposed deep network architecture. The released dataset is available at https://github.com/maesfahani/glaredetection

研究动机与目标

• 为解决自动驾驶车辆拍摄图像中耀斑带来的挑战，该挑战会降低视觉特征提取效果，影响导航与定位。
• 开发一种鲁棒且可泛化的耀斑检测方法，适用于多种相机和光照条件。
• 评估不同图像表示形式（RGB、HSV、色度和梯度）在耀斑分割中的有效性。
• 发布一个新数据集，包含在真实世界条件下采集的多样化耀斑影响图像，用于基准测试。
• 识别出能最大化检测性能（以精确率、召回率和F1分数衡量）的最优图像表示组合。

提出的方法

• 采用改进的U-Net架构，对图像中的耀斑区域进行像素级分割。
• 使用多种图像表示形式作为输入：RGB、HSV、色度（C）和梯度（G），每种形式突出显示耀斑的不同视觉特征。
• 梯度表示形式（G）由图像强度差异导出，强调耀斑伪影中常见的边缘和过渡区域。
• 色度（C）从RGB计算得出，突出显示与耀斑相关的颜色饱和度和亮度变化。
• 在新收集的200张标注耀斑图像数据集上，采用8折交叉验证进行网络训练。
• 性能通过标准指标（精确率、召回率、F1分数和准确率）进行评估，并报告标准差。

实验结果

研究问题

• RQ1 在RGB、HSV、色度和梯度这四种图像表示形式中，哪一种在耀斑检测中表现最佳？
• RQ2 组合使用多种图像表示形式如何影响耀斑分割的鲁棒性与准确性？
• RQ3 哪种图像表示形式的组合能最大化F1分数并最小化误报？
• RQ4 包含所有表示形式是否能提升性能，还是反而引入噪声？
• RQ5 在多样化相机数据上训练的深度学习模型，能否在不同类型的耀斑和环境条件下实现良好泛化？

主要发现

• RGB与梯度（I_RGB & I_G）表示形式的组合实现了最高的F1分数（0.4927），表明精确率与召回率之间达到了最佳平衡。
• I_RGB & I_G组合实现了最高的召回率（0.7616），表明对实际耀斑区域的检测能力极强。
• I_G & I_HSV组合实现了最高的精确率（0.5083）和准确率（0.8950），表明背景抑制效果更优。
• 将全部四种表示形式组合使用（I_RGB & I_HSV & I_G & I_C）导致F1分数下降至0.4662，表明冗余或冲突信息会降低性能。
• 仅使用I_G表示形式即实现了最高的F1分数（0.4635），表明其能有效捕捉耀斑的关键特征，如强烈的强度跃迁。
• I_HSV表示形式实现了最高的召回率（0.6636），表明对耀斑区域具有强敏感性，尤其是在高对比度区域。