[论文解读] Interactive Constrained Association Rule Mining

Bart Goethals, Jan Van den Bussche|ArXiv.org|Dec 10, 2001

Data Mining Algorithms and Applications参考文献 22被引用 5

一句话总结

本文提出一种用于交互式约束关联规则挖掘的增量查询方法，通过在查询间重用先前生成的项集，显著减少冗余计算。通过将查询约束直接整合到挖掘过程中并缓存结果，该方法在性能上优于纯集成查询，尤其在查询较为具体或无约束挖掘因项集数量过高而不可行时表现更优。

ABSTRACT

We investigate ways to support interactive mining sessions, in the setting of association rule mining. In such sessions, users specify conditions (queries) on the associations to be generated. Our approach is a combination of the integration of querying conditions inside the mining phase, and the incremental querying of already generated associations. We present several concrete algorithms and compare their performance.

研究动机与目标

• 解决在交互式数据挖掘会话中，针对每个用户查询反复重新运行完整挖掘过程所导致的效率低下问题。
• 减少不满足用户指定约束的项集的冗余生成，特别是在约束挖掘场景下。
• 实现在单个挖掘会话中跨多个查询对先前计算结果的高效重用。
• 在项集生成与数据库扫描等性能指标上，对比并评估三种方法——集成查询、后处理与增量查询。
• 为全量无约束挖掘在计算上不可行时，提供一种实用且可扩展的交互式挖掘解决方案。

提出的方法

• 将用户指定的布尔约束（关于项在规则头/体中的存在性、支持度与置信度）直接整合到频繁项集挖掘过程中。
• 采用缓存机制存储并重用跨查询的先前生成项集，避免冗余计算。
• 使用之前满足查询的析取范式（DNF）表示，通过逻辑非运算高效计算出新的、此前未生成的项集集合。
• 应用启发式方法通过仅选择缓存查询中限制性最小的析取项，限制复杂查询表达式的增长。
• 结合挖掘过程中的基于约束的剪枝与增量结果重用，最小化数据库扫描次数与候选项集生成量。
• 采用混合策略：初始阶段使用集成查询进行约束感知挖掘，当性能收益显现时切换为增量重用。

实验结果

研究问题

• RQ1 能否通过在多个查询间重用先前计算结果，使交互式挖掘会话更加高效？
• RQ2 在项集生成与数据库扫描方面，增量查询与集成查询及后处理方法相比，性能表现如何？
• RQ3 在挖掘阶段利用查询约束是否能实现最优性能，尤其是在查询变得更为具体时？
• RQ4 后处理方法在何种条件下优于集成查询？增量查询又在何种情况下为最佳选择？
• RQ5 当无约束全量挖掘因项集数量过多而不可行时，增量方法是否仍能处理此类情况？

主要发现

• 增量查询方法通过重用先前生成的项集，持续优于纯集成查询，显著减少查询间的冗余计算。
• 查询执行期间生成的项集数量与查询的限制性成正比，即查询越具体，执行速度越快。
• 数据库扫描次数与有效数据库大小随查询约束强度的增强而成比例减少，提升了可扩展性。
• 在所有测试数据集中，增量方法在第20次查询后开始优于集成查询，仅蘑菇数据集例外，其性能拐点出现在第5次查询。
• 当无约束挖掘可行时，后处理方法表现最优，但当频繁项集数量过大时，该方法将变得不可行。
• 该方法通过将任务分解为约束查询，即使在支持度阈值较低时也能实现可行挖掘，有效构成Eclat与FP-growth等算法的基础。