[论文解读] Constraint-based sequence mining using constraint programming

Benjamin Négrevergne, Tias Guns|arXiv (Cornell University)|Jan 6, 2015

Data Mining Algorithms and Applications参考文献 13被引用 11

一句话总结

本文提出了一种约束编程（CP）框架，用于基于约束的序列挖掘，引入了一种新颖的全局约束'exists-embedding'，以高效编码模式包含关系，并通过投影数据库支持提升性能。该方法实现了灵活、可扩展的频繁序列挖掘，支持用户自定义约束，在灵活性方面优于专用算法，同时通过约束感知搜索与传播保持了具有竞争力的效率。

ABSTRACT

The goal of constraint-based sequence mining is to find sequences of symbols that are included in a large number of input sequences and that satisfy some constraints specified by the user. Many constraints have been proposed in the literature, but a general framework is still missing. We investigate the use of constraint programming as general framework for this task. We first identify four categories of constraints that are applicable to sequence mining. We then propose two constraint programming formulations. The first formulation introduces a new global constraint called exists-embedding. This formulation is the most efficient but does not support one type of constraint. To support such constraints, we develop a second formulation that is more general but incurs more overhead. Both formulations can use the projected database technique used in specialised algorithms. Experiments demonstrate the flexibility towards constraint-based settings and compare the approach to existing methods.

研究动机与目标

• 解决缺乏通用、可扩展的基于约束的序列挖掘框架，以支持多样化的用户自定义约束的问题。
• 开发一种声明式、基于约束编程的方法，可与现有优化与搜索技术无缝集成。
• 在不修改底层数据结构的前提下，实现复杂约束下频繁序列的高效挖掘。
• 通过全局约束实现高效计算，通过分解实现完全通用性，平衡性能与表达能力。
• 通过与最先进序列挖掘算法的实证比较，展示该框架的灵活性与可扩展性。

提出的方法

• 引入一种新的全局约束'exists-embedding'，以高效编码模式序列是否被嵌入到事务序列中。
• 使用CP变量（模式符号、嵌入位置、事务包含指示器）来形式化序列挖掘问题。
• 将'exists-embedding'约束分解为二元不等式和重言约束，以支持更复杂的约束，但带来性能开销。
• 将传统序列挖掘中的投影数据库技术集成到CP框架中，通过共享辅助变量加速频率计数。
• 实现一种子搜索分支器，可独立检查每条事务中的有效嵌入，并将结果传播至主问题，避免冗余搜索。
• 通过辅助变量和元素约束重新表述频率约束，以高效计数跨事务的投影出现次数。

实验结果

研究问题

• RQ1 约束编程能否作为通用、可扩展的框架，适用于多种类型约束的基于约束的序列挖掘？
• RQ2 与基于分解的方法相比，采用专用全局'exists-embedding'约束的CP公式在效率与可扩展性方面表现如何？
• RQ3 投影数据库技术在CP-based序列挖掘流程中能多大程度上被有效集成？
• RQ4 所提出的CP框架如何处理现有专用算法原生不支持的复杂约束？
• RQ5 在使用基于分解的公式与全局约束公式时，表达能力与性能之间的权衡如何？

主要发现

• 采用'exists-embedding'全局约束的公式在效率上表现最佳，运行时间与搜索开销显著优于基于分解的方法。
• 基于分解的公式支持所有约束类型，包括与全局约束不兼容的类型，但计算开销更高。
• 将投影数据库集成到CP框架中，实现了高效的频率计数，性能达到或超过传统投影数据库方法。
• 子搜索分支器机制成功实现了每条事务中嵌入的隔离与验证，减少了搜索空间，提升了可扩展性。
• 实证评估表明，该CP方法在各种约束设置下，运行时间与可扩展性方面与cSpade等最先进算法相当或更优。
• 该框架在处理多样化的用户约束（包括长度、间隔与判别能力约束）方面表现出强大灵活性，且无需修改核心数据结构。