[论文解读] Fast Generation of Best Interval Patterns for Nonmonotonic Constraints

Aleksey Buzmakov, Sergei O. Kuznetsov+1 more|arXiv (Cornell University)|Jun 2, 2015

Data Mining Algorithms and Applications参考文献 1被引用 8

一句话总结

本文提出了 \texttheta-\textSigma\textomikron\textphi\textiota\textalpha（Sofia）算法，用于在非单调约束（如稳定性与 \Delta-度量）下高效挖掘最佳区间元组模式。通过利用投影反单调性，Sofia 避免了昂贵的后过滤操作，在高模式多样性大尺寸数据集上，相较于现有方法（如 MinIntChange）实现了高达 100 倍的性能提升。

ABSTRACT

In pattern mining, the main challenge is the exponential explosion of the set of patterns. Typically, to solve this problem, a constraint for pattern selection is introduced. One of the first constraints proposed in pattern mining is support (frequency) of a pattern in a dataset. Frequency is an anti-monotonic function, i.e., given an infrequent pattern, all its superpatterns are not frequent. However, many other constraints for pattern selection are not (anti-)monotonic, which makes it difficult to generate patterns satisfying these constraints. In this paper we introduce the notion of projection-antimonotonicity and $θ$-$\Sigmaøϕια$ algorithm that allows efficient generation of the best patterns for some nonmonotonic constraints. In this paper we consider stability and $Δ$-measure, which are nonmonotonic constraints, and apply them to interval tuple datasets. In the experiments, we compute best interval tuple patterns w.r.t. these measures and show the advantage of our approach over postfiltering approaches. KEYWORDS: Pattern mining, nonmonotonic constraints, interval tuple data

研究动机与目标

• 为解决在非单调约束（如稳定性与 \Delta-度量）下高效挖掘高质量区间元组模式的挑战，此类约束难以通过传统反单调剪枝处理。
• 通过引入一类新度量——投影反单调度量，克服候选模式的组合爆炸问题，实现高效搜索。
• 设计一种直接针对最佳模式的算法，避免生成所有候选模式，从而减少对后过滤的依赖。
• 通过实验验证所提方法在运行时间与可扩展性方面，相较于基于后过滤的方法（如 MinIntChange）的优越性。

提出的方法

• 提出投影反单调性的概念：某度量在投影链上呈反单调性，从而实现在模式生成过程中进行剪枝。
• 设计 \texttheta-\textSigma\textomikron\textphi\textiota\textalpha（Sofia）算法，利用该性质遍历模式空间，确保仅探索有希望的候选模式。
• 通过将数值属性按阈值 \gamma 离散化为区间，将算法应用于区间元组数据，基于包含关系构建模式结构。
• 使用支持度阈值 \theta 指导最佳模式的搜索，聚焦于 \Delta-度量或稳定性较高的模式。
• 采用深度优先搜索策略并结合剪枝：仅当某模式的度量不差于其父模式时，才允许其扩展，依据为投影反单调性。
• 通过动态调整阈值 \theta 实现类似 top-K 的搜索，确保在不进行完整挖掘的前提下发现所有最佳模式。

实验结果

研究问题

• RQ1 我们能否在不依赖后过滤的前提下，高效挖掘在非单调约束（如稳定性与 \Delta-度量）下的最佳区间元组模式？
• RQ2 投影反单调性是否能有效支持非单调度量在搜索空间中的剪枝？
• RQ3 所提出的 Sofia 算法在运行时间与可扩展性方面，相较于基于后过滤的方法（如 MinIntChange）表现如何？
• RQ4 不同投影链及参数设置（如 \gamma）对模式发现的效率与完备性有何影响？

主要发现

• 对于最大含 105 个对象的数据集，Sofia 在 3 秒内计算出所有最佳 \Delta-稳定性模式，而 MinIntChange 耗时超过 28 秒且因内存溢出被中止。
• 在最大数据集 AB（4177 个对象）上，Sofia 仅用 11 秒完成，而 MinIntChange 耗时 86 秒，且在被中止前仅完成约 10% 的操作。
• 对于数据集 CA（8192 个对象），Sofia 芊 112 秒内找到 6 个最佳模式，而 MinIntChange 在 24 秒后被中止，仅完成约 10% 的工作。
• 在所有测试数据集中，Sofia 均优于 MinIntChange，性能提升在 2 倍至 100 倍以上，展现出显著的可扩展性与效率。
• Sofia 仅用 2.4 秒即在数据集 CN（105 个对象）中挖掘出 5362 个最佳 \Delta-稳定性模式，而使用后过滤方法需设置支持度阈值 30 才能达到相同结果。
• 结果证实，投影反单调性可实现有效剪枝，使直接挖掘最佳模式成为可能，且显著快于间接的后过滤方法。