[论文解读] An Enhanced Apriori Algorithm for Discovering Frequent Patterns with Optimal Number of Scans

Sudhir Tirumalasetty, Aruna Jadda+1 more|arXiv (Cornell University)|Jun 23, 2015

Data Mining Algorithms and Applications被引用 5

一句话总结

本文提出了一种改进的Apriori算法，通过在候选生成过程中仅选择性扫描相关事务，减少了发现频繁模式所需的数据库扫描次数。通过优化扫描频率，该方法在不牺牲准确性的前提下显著提升了效率，在事务处理时间方面实现了最佳性能。

ABSTRACT

Data mining is wide spreading its applications in several areas. There are different tasks in mining which provides solutions for wide variety of problems in order to discover knowledge. Among those tasks association mining plays a pivotal role for identifying frequent patterns. Among the available association mining algorithms Apriori algorithm is one of the most prevalent and dominant algorithm which is used to discover frequent patterns. This algorithm is used to discover frequent patterns from small to large databases. This paper points toward the inadequacy of the tangible Apriori algorithm of wasting time for scanning the whole transactional database for discovering association rules and proposes an enhancement on Apriori algorithm to overcome this problem. This enhancement is obtained by dropping the amount of time used in scanning the transactional database by just limiting the number of transactions while calculating the frequency of an item or item-pairs. This improved version of Apriori algorithm optimizes the time used for scanning the whole transactional database.

研究动机与目标

• 解决传统Apriori算法在频繁模式发现过程中因重复全表扫描而导致的低效问题。
• 通过最小化冗余扫描操作，降低大规模事务型数据库中的计算开销。
• 开发一种在优化候选项集生成扫描次数的同时保持准确性的方法。
• 实现频繁模式挖掘中的最优扫描次数，提升可扩展性和性能。

提出的方法

• 该算法将数据库扫描限制在仅包含候选项的事务中，避免在每次迭代中进行全表扫描。
• 采用选择性扫描策略，仅在计数候选项集支持度时访问相关事务。
• 该方法使用一种候选生成机制，可早期过滤掉无前景的项集，从而减少重复全表扫描的需求。
• 仅基于项在事务中出现的先验知识，对数据库的相关子集计算支持度计数。
• 该方法根据项集大小和频率动态调整扫描范围，确保I/O开销最小化。
• 保留原始Apriori框架的同时，引入一种智能事务过滤机制，以减少冗余访问。

实验结果

研究问题

• RQ1 如何在不损失频繁模式发现准确性的前提下，最小化Apriori算法中的全表扫描次数？
• RQ2 在候选项集支持度计数过程中，可采用何种标准识别并排除无关事务？
• RQ3 选择性扫描能否提升大规模数据库中关联规则挖掘的时间效率？
• RQ4 降低扫描频率在多大程度上影响Apriori算法的整体性能与可扩展性？
• RQ5 在事务型数据库中，有效频繁模式挖掘所需的最优扫描次数是多少？

主要发现

• 所提出的算法将数据库扫描次数减少至最优水平，显著缩短了处理时间。
• 基于项存在性的选择性扫描，相比全表扫描，可实现更快的候选支持度计算。
• 该方法在提升效率的同时，保持了与原始Apriori算法相同的准确度水平。
• 通过仅关注相关事务，该算法减少了I/O开销，提升了大规模数据库的可扩展性。
• 该增强方法在执行时间方面表现出可测量的性能提升，尤其在大规模事务数据集中效果显著。
• 通过在每次迭代中智能过滤无关事务，该方法实现了最优扫描次数。