[论文解读] Mining Periodic Patterns with a MDL Criterion

Esther Galbrun, Peggy Cellier+3 more|arXiv (Cornell University)|Jul 4, 2018

Data Mining Algorithms and Applications参考文献 18被引用 4

一句话总结

本文提出了一种新颖的方法，利用最小描述长度（MDL）原则来评估和选择能够最佳压缩数据的周期性模式集合，从而从事件日志中挖掘周期性模式。通过定义一种支持事件嵌套循环的表达性模式语言，并使用基于MDL的编码方法平衡模型复杂度与数据拟合度，该方法能有效识别真实日志中的有意义周期性结构，实现显著的数据压缩，并揭示直观的重复模式。

ABSTRACT

The quantity of event logs available is increasing rapidly, be they produced by industrial processes, computing systems, or life tracking, for instance. It is thus important to design effective ways to uncover the information they contain. Because event logs often record repetitive phenomena, mining periodic patterns is especially relevant when considering such data. Indeed, capturing such regularities is instrumental in providing condensed representations of the event sequences. We present an approach for mining periodic patterns from event logs while relying on a Minimum Description Length (MDL) criterion to evaluate candidate patterns. Our goal is to extract a set of patterns that suitably characterises the periodic structure present in the data. We evaluate the interest of our approach on several real-world event log datasets.

研究动机与目标

• 解决从包含混合信号和不规则性的大型嘈杂事件日志中提取有意义周期性模式的挑战。
• 通过聚焦于全局最优的模式集合，减少传统模式挖掘算法通常产生的模式爆炸问题。
• 利用MDL原则作为评估和选择最佳描述事件序列周期性结构的模式集合的合理标准。
• 设计一种表达性强的模式语言，能够表示嵌套和复合的周期性行为，例如每周重复的日常作息。
• 开发并基于实证验证一种算法，能够从多样化的真实世界事件日志数据集中高效挖掘MDL最优的周期性模式。

提出的方法

• 基于单个事件的循环定义模式语言，其中每个循环由周期、重复次数和起始时间定义。
• 扩展模式语言以支持模式的递归组合，从而支持嵌套和复合的周期性结构（例如每周重复的日常作息）。
• 设计一种编码方案，根据模式集合对输入序列的压缩效果，基于MDL原则为其分配码长。
• 采用两阶段算法：首先从数据中挖掘简单循环，然后在保持MDL得分的前提下将它们组合成更复杂的模式。
• 应用一种贪婪的迭代组合策略，测试模式组合并仅保留能减少总码长的组合。
• 实现一种剪枝机制，丢弃无法提升压缩效果的候选组合，从而确保可扩展性和效率。

实验结果

研究问题

• RQ1 MDL原则能否有效应用于选择紧凑且高质量的周期性模式集合，以捕捉事件日志中的潜在结构？
• RQ2 如何设计一种模式语言，以表达复杂的嵌套周期性行为，例如每周重复的日常作息？
• RQ3 与传统挖掘方法相比，基于MDL的模式选择在保持或提升数据压缩效果的同时，能在多大程度上减少模式数量？
• RQ4 该算法在具有不同噪声水平、不规则性和复杂度的真实世界事件日志上的表现如何？
• RQ5 从多样化日志数据集中，能够可靠提取出哪些有意义的周期性模式，尤其是嵌套或复合模式？

主要发现

• 所提出的基于MDL的方法在真实世界事件日志数据集上成功识别出能实现显著数据压缩的周期性模式集合，证明了该准则在选择有意义模式方面的有效性。
• 该算法提取出直观且人类可解释的模式，例如日常作息（如每24小时一次的起床和冲泡咖啡行为）以及系统级模式（如重复的上下文切换和进程激活）。
• 运行时间差异显著，从几秒到数小时不等，其中第二阶段（模式组合）最为耗时，尤其当初始阶段提取出大量长周期时。
• 由于模式语言的灵活性和MDL评估机制，该方法对噪声和不规则性（如重复间隔的间隙和可变的事件间隔延迟）具有鲁棒性。
• 该算法的性能对初始周期的数量和长度敏感，周期越长、数量越多，组合阶段的计算成本越高。
• 与传统挖掘方法相比，该方法在保持或提升压缩效果的同时显著减少了模式数量，压缩比和码长减少的实证结果充分证明了其优越性。