[论文解读] Keeping it Short and Simple: Summarising Complex Event Sequences with Multivariate Patterns

Roel Bertens, Jilles Vreeken+1 more|arXiv (Cornell University)|Dec 22, 2015

Time Series Analysis and Forecasting参考文献 27被引用 5

一句话总结

本文提出Ditto，一种高效算法，利用最小描述长度（MDL）原理从复杂事件序列中发现简洁、高质量的多变量序列模式。通过迭代选择能最大程度减少冗余的模式——允许重叠、间隔和跨属性相关性——Ditto 生成简洁、可解释的摘要，准确捕捉合成数据和真实世界数据（包括传感器网络和标注文本）中的关键结构与关系特征。

ABSTRACT

We study how to obtain concise descriptions of discrete multivariate sequential data. In particular, how to do so in terms of rich multivariate sequential patterns that can capture potentially highly interesting (cor)relations between sequences. To this end we allow our pattern language to span over the domains (alphabets) of all sequences, allow patterns to overlap temporally, as well as allow for gaps in their occurrences. We formalise our goal by the Minimum Description Length principle, by which our objective is to discover the set of patterns that provides the most succinct description of the data. To discover high-quality pattern sets directly from data, we introduce DITTO, a highly efficient algorithm that approximates the ideal result very well. Experiments show that DITTO correctly discovers the patterns planted in synthetic data. Moreover, it scales favourably with the length of the data, the number of attributes, the alphabet sizes. On real data, ranging from sensor networks to annotated text, DITTO discovers easily interpretable summaries that provide clear insight in both the univariate and multivariate structure.

研究动机与目标

• 为解决复杂多变量序列数据的摘要问题，识别能捕捉底层结构与相关性的少量代表性模式。
• 克服多变量序列中频繁模式爆炸的问题，即使在小数据集下也会生成数十亿个频繁模式，导致后续处理不可行。
• 开发一种可直接从数据中挖掘高质量模式集合的方法，避免探索完整模式空间的不可行性。
• 实现可解释、紧凑的摘要，揭示真实世界数据（如传感器日志和标注文本）中的单变量与多变量关系。
• 提供可扩展、高效的解决方案，在保持高精度的同时避免在具有跨语言或多属性依赖关系的噪声或复杂数据中产生虚假模式。

提出的方法

• 使用最小描述长度（MDL）原理形式化摘要问题，其中最优模式集合使数据的总描述长度最小化。
• 引入一种丰富的模式语言，允许模式跨越多个属性，包含时间间隔，并允许发生重叠，从而实现对复杂多变量相关性的检测。
• 设计Ditto算法，通过迭代选择能最大程度减少当前数据描述冗余的模式对（或模式组）来逐步构建模型。
• 采用贪心、迭代的方法：在每一步中，识别序列中频繁共现的模式，并在MDL得分改善时将其并集加入模型。
• 采用高效的候选生成与评估策略，通过仅关注能显著减少冗余的模式，剪枝搜索空间的大部分区域。
• 使用基于MDL的无损压缩方案对模式和数据进行编码，其中得分平衡了模式复杂度与数据压缩增益。

实验结果

研究问题

• RQ1 基于MDL的模式集合挖掘方法能否有效总结复杂多变量序列数据，同时避免频繁模式爆炸问题？
• RQ2 像Ditto这样的算法在具有不同规模、支持度和真实模式数量的合成数据中，恢复植入模式的能力如何？
• RQ3 在真实场景中，Ditto在数据长度、属性数量和字母表大小增加时的可扩展性如何？
• RQ4 Ditto能否在真实数据（如传感器网络和标注文本）中发现有意义、可解释的多变量模式，揭示语言或领域特定结构？
• RQ5 与单变量或刚性模式模型相比，包含间隔、重叠和跨属性模式是否能显著提升结果摘要的质量与可解释性？

主要发现

• Ditto 在合成数据集中准确发现所有植入模式，无论其支持度、大小或数量如何，且未产生任何虚假模式。
• 该算法在数据长度、属性数量和字母表大小方面均表现出良好的可扩展性，在大型数据集上运行时间仍保持在秒级。
• 在标注文本（如《白鲸记》）中，Ditto 识别出非平凡的语言模式，如“<noun> of the <noun>” 和 “the <noun> of”，揭示了作者的写作风格。
• 在多语言金融数据中，Ditto 正确识别出跨语言翻译模式，如法语的“relève”、德语的“stellt fest dass” 和英语的“note”，展示了多变量对齐能力。
• 与基线方法（如Sqs）相比，Ditto 在非结构化数据上的压缩增益较小，表明此类数据缺乏强多变量结构，这与观察到的间隙模式一致。
• 该方法通过容忍间隔有效处理噪声，并避免过拟合，这在合成数据和真实数据实验中均未发现虚假模式得到验证。