[论文解读] Is it Raining Outside? Detection of Rainfall using General-Purpose Surveillance Cameras

Joakim Bruslund Haurum, Chris Bahnsen+1 more|VBN Forskningsportal (Aalborg Universitet)|Aug 12, 2019

Water Quality Monitoring Technologies被引用 5

一句话总结

本文提出一种基于3D卷积神经网络的雨滴检测系统，利用通用监控摄像头进行检测，在新发布的AAU视觉降雨数据集（VIRADA）上超越了先前的最先进方法。该模型在训练数据上实现了98%的准确率和0.94的MCC，当感兴趣区域与训练分布匹配时表现出优越性能，但在沥青等不同纹理背景上表现不佳。

ABSTRACT

In integrated surveillance systems based on visual cameras, the mitigation of adverse weather conditions is an active research topic. Within this field, rain removal algorithms have been developed that artificially remove rain streaks from images or video. In order to deploy such rain removal algorithms in a surveillance setting, one must detect if rain is present in the scene. In this paper, we design a system for the detection of rainfall by the use of surveillance cameras. We reimplement the former state-of-the-art method for rain detection and compare it against a modern CNN-based method by utilizing 3D convolutions. The two methods are evaluated on our new AAU Visual Rain Dataset (VIRADA) that consists of 215 hours of general-purpose surveillance video from two traffic crossings. The results show that the proposed 3D CNN outperforms the previous state-of-the-art method by a large margin on all metrics, for both of the traffic crossings. Finally, it is shown that the choice of region-of-interest has a large influence on performance when trying to generalize the investigated methods. The AAU VIRADA dataset and our implementation of the two rain detection algorithms are publicly available at https://bitbucket.org/aauvap/aau-virada.

研究动机与目标

• 开发一种无需外部气象数据的自包含雨滴检测系统，适用于通用监控摄像头。
• 解决实时监控系统中检测降雨的挑战，因为雨滴去除算法需要事先知道降水信息。
• 创建一个大规模、公开可用的数据集，捕捉标准监控摄像头拍摄的真实降雨场景。
• 在真实世界视频数据上，评估并比较传统基于信号的方法（如Bossu等人）与现代深度学习方法（3D CNN）的性能。
• 研究感兴趣区域选择对模型泛化能力及在多样化户外场景中性能的影响。

提出的方法

• 使用高阶统计量（HOS）以及EM和卡尔曼滤波方法重新实现Bossu等人提出的最先进雨滴检测方法，用于参数估计。
• 设计一种适用于视频雨滴检测的3D卷积神经网络（C3D）架构，处理16帧视频片段，步长为8帧。
• 应用全卷积网络（FCN）和中心裁剪推理策略，评估空间上下文对检测性能的影响。
• 使用AAU VIRADA数据集，该数据集包含215小时的监控视频，其真实标签由激光雨滴谱仪和翻斗式雨量计提供。
• 在Crossing1数据子集上训练3D CNN，并在Crossing1的训练/验证集以及具有不同背景的Crossing2未见数据上进行评估。
• 将每分钟的激光雨滴谱仪测量结果转换为每帧的标签，用于训练和评估。

实验结果

研究问题

• RQ1 基于深度学习的3D CNN能否在通用监控摄像头中优于传统基于信号的方法，实现雨滴检测？
• RQ2 感兴趣区域的选择（如沥青路面与砖墙）如何影响雨滴检测模型的泛化能力？
• RQ3 当将3D CNN应用于与训练数据纹理不同的场景时，其性能会下降到何种程度？
• RQ4 对HOS参数进行EM和卡尔曼平滑处理如何影响基于Bossu的雨滴检测算法的鲁棒性？
• RQ5 仅依赖摄像头的自包含雨滴检测系统能否在无外部气象站支持的情况下实现可靠性能？

主要发现

• 在两个交通路口的测试中，3D CNN方法在性能上远超先前的最先进方法Bossu算法，在Crossing1训练集上达到98%准确率和0.94 MCC。
• 在Crossing1验证集上，3D CNN达到87%准确率和0.58 MCC，表明性能较强，但因存在大量漏检而仍有改进空间。
• 在Crossing2的沥青背景上测试时，全帧3D CNN完全未检测到降雨，而中心裁剪版本的MCC为-0.08，表明泛化能力极差。
• 在Crossing2的砖墙背景上，3D CNN在所有指标上均表现优异，使用中心区域时MCC提升0.01，表明减少了动态场景元素的干扰。
• Bossu算法整体表现较差，在Crossing1上准确率接近50%，MCC接近0，表明在此情境下仅相当于随机猜测。
• 当感兴趣区域纹理与训练数据相似时，3D CNN与Bossu方法之间的性能差距最为显著，凸显了3D CNN在区域匹配时的优异泛化能力。