[论文解读] Fast and Memory-Efficient Significant Pattern Mining via Permutation Testing

Felipe Llinares López, Mahito Sugiyama+2 more|arXiv (Cornell University)|Feb 15, 2015

Data Mining Algorithms and Applications参考文献 5被引用 9

一句话总结

本文提出 Westfall-Young light，一种新型快速且内存高效的显著模式挖掘算法，利用置换检验严格控制家族错误率（FWER），同时避免为每次置换重新运行频繁模式挖掘带来的计算开销。在真实世界的事项目集和子图挖掘基准测试中，该方法相比最先进方法，运行时间最快提升1,000倍，内存使用量降低10至100倍。

ABSTRACT

We present a novel algorithm, Westfall-Young light, for detecting patterns, such as itemsets and subgraphs, which are statistically significantly enriched in one of two classes. Our method corrects rigorously for multiple hypothesis testing and correlations between patterns through the Westfall-Young permutation procedure, which empirically estimates the null distribution of pattern frequencies in each class via permutations. In our experiments, Westfall-Young light dramatically outperforms the current state-of-the-art approach in terms of both runtime and memory efficiency on popular real-world benchmark datasets for pattern mining. The key to this efficiency is that unlike all existing methods, our algorithm neither needs to solve the underlying frequent itemset mining problem anew for each permutation nor needs to store the occurrence list of all frequent patterns. Westfall-Young light opens the door to significant pattern mining on large datasets that previously led to prohibitive runtime or memory costs.

研究动机与目标

• 解决在组合爆炸的模式空间中因大规模多重假设检验导致的显著模式挖掘中假阳性发现的关键问题。
• 开发一种方法，严格控制家族错误率（FWER），且不对模式大小施加限制，也不假设模式之间相互独立。
• 大幅降低大规模模式挖掘中基于置换的 FWER 校正的计算成本，尤其适用于密集且庞大的数据库。
• 使原本因运行时间或内存需求过高而被认为不可行的数据集的显著模式挖掘成为可能。

提出的方法

• 该算法采用增量搜索策略，从较小的模式开始，并逐步提高最小支持度阈值，避免在每一步骤中从头开始重新计算频繁模式挖掘。
• 应用 Westfall-Young 置换程序，通过经验估计模式频率在各类别中的零分布，以校正多重检验及模式之间的相关性。
• 关键在于，它不存储所有频繁模式的完整出现列表，也不为每次置换重新执行底层频繁模式挖掘算法，从而显著降低内存和时间开销。
• 该方法利用计算优化技术，如提前终止和高效的数据结构管理，即使在大规模、密集的数据集上也能保持高性能。
• 通过置换采样估计有效检验次数，但避免为每次置换重新计算完整结果，而是重用先前支持度阈值的中间结果。
• 该算法动态调整支持度阈值，并使用黑箱频繁模式挖掘器在每一步评估模式计数，确保与现有挖掘工具的兼容性。

实验结果

研究问题

• RQ1 能否在大规模、密集数据集上实现计算上可行的显著模式挖掘算法，同时达到最优的 FWER 控制？
• RQ2 如何使基于置换的多重假设检验校正足够高效，以扩展到现实应用中数十亿个模式检验？
• RQ3 可应用哪些计算优化技术，以避免为每次置换重新计算频繁模式挖掘，从而降低内存开销？
• RQ4 与递减策略相比，增量搜索策略在基于置换的显著性检验中是否在运行时间和内存效率方面表现更优？
• RQ5 与现有方法相比，所提出方法的内存使用量如何随数据库大小和密度的增加而变化？

主要发现

• 与最先进方法 FastWY 相比，Westfall-Young light 在事项目集和子图挖掘基准测试中，运行时间最多缩短三个数量级。
• Westfall-Young light 的峰值内存使用量相比现有方法降低了一到两个数量级，尤其在大型和密集数据集上表现显著。
• 与最先进方法 FastWY 不同，后者采用计算成本高昂的递减搜索策略，Westfall-Young light 的增量策略在不牺牲统计严谨性的前提下，实现了显著的性能提升。
• 该算法的内存使用量随数据库复杂度的增加而平缓增长，而 FastWY 的内存使用量则急剧上升，在大规模场景下变得不可行。
• Westfall-Young light 成功控制了家族错误率（FWER），并实现了最优的统计功效，避免了依赖有效检验次数的启发式方法中常见的 FWER 高估问题。
• 该方法使原本因内存或运行时间限制而无法处理的数据集的显著模式挖掘成为可能，为计算生物学及其他数据密集型领域开辟了新的应用途径。