[论文解读] A Data-driven Approach to Detecting Precipitation from Meteorological Sensor Data

Shilpa Manandhar, Soumyabrata Dev+3 more|arXiv (Cornell University)|May 4, 2018

Precipitation Measurement and Analysis参考文献 8被引用 3

一句话总结

该论文提出一种基于地表气象传感器和GPS反演水汽总量（PWV）的机器学习方法，用于检测降雨，在热带降雨数据存在类别不平衡的情况下，通过支持向量机（SVM）结合随机下采样技术，实现了87.4%的高真正检测率和32.2%的中等误报率。

ABSTRACT

Precipitation is dependent on a myriad of atmospheric conditions. In this paper, we study how certain atmospheric parameters impact the occurrence of rainfall. We propose a data-driven, machine-learning based methodology to detect precipitation using various meteorological sensor data. Our approach achieves a true detection rate of 87.4% and a moderately low false alarm rate of 32.2%.

研究动机与目标

• 利用多源气象传感器数据提升热带气候条件下降雨检测的准确性。
• 解决降雨事件稀少导致的降雨数据高度不平衡问题。
• 评估结合地表气象参数与GPS反演水汽总量（PWV）在降雨分类中的有效性。
• 通过机器学习与数据平衡技术降低降水检测中的误报率。

提出的方法

• 研究使用1分钟时间分辨率的地表气象参数——温度、相对湿度、露点温度、太阳辐照度和降雨强度。
• 通过纬度、一年中的日期和站点海拔高度，利用包含这些变量的公式，从天顶湿延迟反演得到GPS反演水汽总量（PWV）。
• 引入季节性（一年中的日期）和昼夜性（一天中的时间）特征，以捕捉新加坡的季风和日变化降雨模式。
• 采用支持向量机（SVM）分类器，在通过随机下采样实现雨天与非雨天样本均衡的平衡数据集上进行训练。
• 模型在2010–2011年数据的20%上进行训练，并在2012年未见样本上进行测试，通过真正检测率和误报率评估性能。
• 将数据集重采样为1:1的少数类与多数类比例，以缓解极端类别不平衡（雨天与非雨天点比例为1:70）带来的偏差。

实验结果

研究问题

• RQ1 结合地表气象参数与GPS反演水汽总量是否能提升热带地区降雨检测的准确性？
• RQ2 在高度不平衡的降雨检测任务中，随机下采样对模型性能有何影响？
• RQ3 引入昼夜与季节性特征对降雨分类准确性有何影响？
• RQ4 与仅使用PWV数据的先前研究相比，真正检测率与误报率如何？

主要发现

• 所提方法在测试数据上实现87.4%的真正检测率，在2012年数据上达到85.8%，显著优于以往方法的检测能力。
• 测试数据上的误报率降低至32.2%，2012年数据上为28.5%，相比以往研究报道的60%误报率有显著改善。
• 随机下采样显著提升模型性能，与未下采样训练相比，真正检测率提高5%，误报率降低超过12%。
• 引入昼夜与季节性特征增强了模型对时间依赖性降雨模式的敏感性，尤其在季风季节表现更优。
• 模型在2012年未见样本上保持强泛化能力，证实其在不同年份间的鲁棒性。
• 结果表明，通过SVM结合地表传感器与GPS反演PWV，可构建比仅使用PWV方法更准确、更可靠的降雨检测系统。