[论文解读] Discovering general partial orders in event streams

Avinash Achar, Srivatsan Laxman+2 more|ArXiv.org|Feb 7, 2009

Data Mining Algorithms and Applications参考文献 17被引用 3

一句话总结

本文提出高效算法，用于在事件流中发现具有通用部分序的频繁事件模式，利用有限状态自动机追踪注入式事件模式的非重叠出现。提出双向证据作为新颖的有趣性度量，以过滤掉组合爆炸且无意义的模式，通过在具有不同噪声和模式复杂度的合成数据流上进行广泛仿真，验证了方法的可扩展性和有效性。

ABSTRACT

Frequent episode discovery is a popular framework for pattern discovery in event streams. An episode is a partially ordered set of nodes with each node associated with an event type. Efficient (and separate) algorithms exist for episode discovery when the associated partial order is total (serial episode) and trivial (parallel episode). In this paper, we propose efficient algorithms for discovering frequent episodes with general partial orders. These algorithms can be easily specialized to discover serial or parallel episodes. Also, the algorithms are flexible enough to be specialized for mining in the space of certain interesting subclasses of partial orders. We point out that there is an inherent combinatorial explosion in frequent partial order mining and most importantly, frequency alone is not a sufficient measure of interestingness. We propose a new interestingness measure for general partial order episodes and a discovery method based on this measure, for filtering out uninteresting partial orders. Simulations demonstrate the effectiveness of our algorithms.

研究动机与目标

• 解决在事件流中发现具有通用部分序的频繁事件模式缺乏高效算法的问题。
• 克服仅以频率作为有趣性度量时频繁事件模式数量出现组合爆炸的问题。
• 开发一个灵活的框架，可专门化用于挖掘串行、并行或自定义的部分序事件模式子类。
• 提出并验证一种新的有趣性度量——双向证据，用于捕捉事件对之间相对频率模式。
• 在不同数据长度、噪声水平和嵌入模式数量下，展示所提方法的可扩展性和有效性。

提出的方法

• 使用有限状态自动机（FSA）高效追踪单个事件流中注入式事件模式的非重叠出现。
• 采用候选生成策略，支持对具有最大子模式特性的部分序子类进行专门化，包括串行和并行事件模式。
• 提出一种新的有趣性度量——双向证据，定义为事件对在事件模式出现中正向与反向共现频率之间的熵类似差异。
• 应用过期时间约束以限制有效事件模式出现的时间跨度，确保时间相关性。
• 设计双阈值挖掘框架：一个用于最小频率，另一个用于最小双向证据，以过滤无意义模式。
• 通过利用注入式事件模式约束优化算法可扩展性，该约束防止单个事件模式内事件类型的重复。

实验结果

研究问题

• RQ1 在缺乏现有算法的情况下，如何高效地在单一长事件流中发现具有通用部分序的频繁事件模式？
• RQ2 频繁部分序挖掘中的组合爆炸由何引起？除了单纯依赖频率阈值外，还能如何缓解？
• RQ3 能否定义一种新的有趣性度量，以捕捉事件模式中结构和时间多样性的特征，特别是事件顺序反转的情况？
• RQ4 与仅依赖频率相比，所提出的双向证据度量在选择有意义的部分序事件模式方面有何改进？
• RQ5 在真实合成事件流中，该算法在数据长度、噪声水平和嵌入模式数量方面具有多大程度的可扩展性？

主要发现

• 算法与数据长度呈线性可扩展，运行时间从22,500个事件时的52秒增至90,000个事件时的3分25秒，fth/T比率保持恒定。
• 在噪声水平为0.88（ρ = 0.045）时，运行时间达到峰值11分10秒，原因是3节点候选数量激增，显示出对噪声的敏感性。
• 当嵌入8个8节点事件模式时，随着双向证据阈值（H(α)）从0.2增至1.0，频繁事件模式数量从100降至10，表明过滤效果显著。
• 在低噪声（ρ = 0.02）条件下，运行时间保持最低，因为仅信号事件在1节点级别频繁，从而减少了候选生成。
• 即使在高噪声环境中，该方法仍能成功发现有意义的部分序事件模式，双向证据有效消除了冗余或无信息的模式。
• 该算法可专门化为仅挖掘串行或仅挖掘并行事件模式，证明了其通用性，并统一了现有方法。