[论文解读] Fixing Data Anomalies with Prediction Based Algorithm in Wireless Sensor Networks

Abhishek Kr. Singh, Bollibisai Giridhar+1 more|arXiv (Cornell University)|Nov 14, 2011

Energy Efficient Wireless Sensor Networks参考文献 4被引用 5

一句话总结

本文提出了一种基于ARIMA的预测算法，仅利用单个节点的历史数据，在无线传感器网络（WSNs）中检测并纠正数据异常。通过在汇聚节点对每个传感器的时间序列数据拟合ARIMA(p,d,q)模型，该方法利用95%置信区间预测值来替代异常读数，五步预测内的最大误差为3.62%，从而在不依赖节点间空间或时间相关性的情况下提升了数据准确性。

ABSTRACT

Data inconsistencies are present in the data collected over a large wireless sensor network (WSN), usually deployed for any kind of monitoring applications. Before passing this data to some WSN applications for decision making, it is necessary to ensure that the data received are clean and accurate. In this paper, we have used a statistical tool to examine the past data to fit in a highly sophisticated prediction model i.e., ARIMA for a given sensor node and with this, the model corrects the data using forecast value if any data anomaly exists there. Another scheme is also proposed for detecting data anomaly at sink among the aggregated data in the data are received from a particular sensor node. The effectiveness of our methods are validated by data collected over a real WSN application consisting of Crossbow IRIS Motes \cite{Crossbow:2009}.

研究动机与目标

• 解决由故障传感器、传输丢失或采样误差引起的无线传感器网络中的数据异常问题。
• 开发一种轻量级、基于节点的检测与纠正方法，无需依赖节点间的空间或时间相关性。
• 通过Crossbow IRIS Motes采集的实际数据，验证ARIMA建模在WSN中实时异常纠正的有效性。
• 提供一种容错机制，利用历史数据在传感器瞬时故障期间实现数据重建。
• 建立一种通用的异常检测与纠正框架，可在汇聚节点以最小计算开销实现。

提出的方法

• 在汇聚节点对每个独立传感器节点的历史时间序列数据拟合统计ARIMA(p,d,q)模型，以捕捉时间自相关性和趋势。
• ARIMA模型生成未来数据点的预测值，当实际值落在95%预测区间之外时，即判定为异常。
• 通过ARIMA模型对应的预测值替换异常值来实现异常纠正。
• 该方法使用95%置信区间定义异常检测的上下界，通过调整置信水平可获得更严格的边界。
• 模型基于在长时间内从Crossbow IRIS Motes采集的真实WSN数据进行训练与验证，确保实际适用性。
• 该框架在每个节点上完全去中心化，仅依赖本地数据，不使用节点间相关性或上下文信息。

实验结果

研究问题

• RQ1 仅使用历史数据，ARIMA建模能否有效检测并纠正单个传感器节点的数据异常？
• RQ2 在真实WSN部署中，基于ARIMA的预测在纠正异常传感器读数方面的准确性如何？
• RQ3 随着预测时域的增加，预测误差如何演变？最可靠的纠正预测窗口是什么？
• RQ4 该方法在保持数据完整性的同时，能在多大程度上减少异常检测中的误报？
• RQ5 该方法是否可在传感器瞬时故障期间作为容错机制，通过重建丢失或损坏的数据发挥作用？

主要发现

• 在前五个预测步骤中，ARIMA模型在纠正异常时的最大百分比误差为3.62%，表明数据恢复具有高精度。
• 预测误差随预测时域增加而上升，超过10步后变得显著，表明5–10步以内的预测最适用于异常纠正。
• 算法2中使用的95%置信区间有效识别了异常数据点，I类错误率（即假阳性率）为5%，与所选显著性水平一致。
• 该方法成功纠正了异常数据，且无需依赖节点间的空间或时间相关性，证明了其独立性与可扩展性。
• 该框架在Crossbow IRIS Motes的真实世界数据上表现出鲁棒性，验证了其在真实WSN部署中的实际适用性。
• 本研究证实，ARIMA是一种轻量级但强大的统计工具，适用于计算资源受限的汇聚节点上的WSN数据流异常检测与纠正。