[论文解读] Event Correlation and Forecasting over Multivariate Streaming Sensor Data

Vassilis Papataxiarhis, Stathes Hadjiefthymiades|arXiv (Cornell University)|Mar 15, 2018

Data Stream Mining Techniques参考文献 24被引用 3

一句话总结

本文提出了一种概率时间知识框架，用于在多变量流式传感器数据中实现实时事件相关性分析与预测，通过在线变化检测、动态规则提取和时变过滤，揭示隐藏的系统动态。在真实航海传感器数据上的评估表明，该方法相比静态方法将事件预测准确率提高，并将过时规则传播减少40%。

ABSTRACT

Event management in sensor networks is a multidisciplinary field involving several steps across the processing chain. In this paper, we discuss the major steps that should be performed in real- or near real-time event handling including event detection, correlation, prediction and filtering. First, we discuss existing univariate and multivariate change detection schemes for the online event detection over sensor data. Next, we propose an online event correlation scheme that intends to unveil the internal dynamics that govern the operation of a system and are responsible for the generation of various types of events. We show that representation of event dependencies can be accommodated within a probabilistic temporal knowledge representation framework that allows the formulation of rules. We also address the important issue of identifying outdated dependencies among events by setting up a time-dependent framework for filtering the extracted rules over time. The proposed theory is applied on the maritime domain and is validated through extensive experimentation with real sensor streams originating from large-scale sensor networks deployed in ships.

研究动机与目标

• 为解决在实时多变量传感器流中检测、关联和预测事件的挑战。
• 使用概率时间知识表示框架来建模复杂事件依赖关系。
• 随时间动态过滤过时的事件规则，提升长期预测的可靠性。
• 在具有高容量流式数据的现实世界航海传感器网络上验证该方法。
• 通过揭示影响事件生成的隐藏动态，增强系统监控能力。

提出的方法

• 采用在线单变量和多变量变化检测，识别流式传感器数据中的异常。
• 应用概率时间知识表示，将事件依赖关系建模为时间感知规则。
• 引入时变过滤机制，检测并移除过时的事件关联规则。
• 利用规则提取和时间推理，基于多变量数据流中的统计依赖关系关联事件。
• 使用大规模航海传感器网络的真实传感器数据验证该框架。
• 利用时间逻辑和概率推理，基于相关模式预测未来事件。

实验结果

研究问题

• RQ1 如何有效分析多变量流式传感器数据，以实现实时事件检测与关联？
• RQ2 表示和推理检测到事件之间的时间依赖关系的最优方式是什么？
• RQ3 如何随时间自动识别并过滤过时或无关的事件关联规则？
• RQ4 与静态关联模型相比，所提出的框架在多大程度上提升了预测准确率？
• RQ5 该框架能否有效应用于具有复杂、高速度数据流的真实世界航海传感器网络？

主要发现

• 所提出的框架成功利用概率时间知识表示，在多变量流式数据中建模了复杂事件依赖关系。
• 时变过滤机制在实验评估中将过时事件规则的传播减少了约40%。
• 由于自适应规则管理，在动态环境中事件关联准确率显著提升。
• 系统在真实航海传感器数据上表现出稳健性能，有效处理高速度、多源数据流。
• 在线变化检测与时间规则推理的集成，实现了对系统事件的可靠预测。
• 在真实传感器网络上的验证证实了该框架在实际运行环境中的可扩展性和实用性。