[论文解读] An Optimized Weighted Association Rule Mining On Dynamic Content

P. Velvadivu, Karthik Duraisamy|arXiv (Cornell University)|Apr 20, 2010

Data Mining Algorithms and Applications被引用 5

一句话总结

本文提出了一种针对动态数据库的优化加权关联规则挖掘方法，通过将广义 HITS 算法与在线特征向量计算相结合，提升了传统 WARM 方法的性能。该方法通过有向图模型为项目分配动态权重，并在频繁的数据变更中高效更新排名，证明在动态环境中优于经典 HITS 算法的效率。

ABSTRACT

Association rule mining aims to explore large transaction databases for association rules. Classical Association Rule Mining (ARM) model assumes that all items have the same significance without taking their weight into account. It also ignores the difference between the transactions and importance of each and every itemsets. But, the Weighted Association Rule Mining (WARM) does not work on databases with only binary attributes. It makes use of the importance of each itemset and transaction. WARM requires each item to be given weight to reflect their importance to the user. The weights may correspond to special promotions on some products, or the profitability of different items. This research work first focused on a weight assignment based on a directed graph where nodes denote items and links represent association rules. A generalized version of HITS is applied to the graph to rank the items, where all nodes and links are allowed to have weights. This research then uses enhanced HITS algorithm by developing an online eigenvector calculation method that can compute the results of mutual reinforcement voting in case of frequent updates. For Example in Share Market Shares price may go down or up. So we need to carefully watch the market and our association rule mining has to produce the items that have undergone frequent changes. These are done by estimating the upper bound of perturbation and postponing of the updates whenever possible. Next we prove that enhanced algorithm is more efficient than the original HITS under the context of dynamic data.

研究动机与目标

• 解决经典关联规则挖掘忽略项目重要性与事务重要性的局限性。
• 开发一种加权关联规则挖掘模型，整合反映现实因素（如利润或促销活动）的项目权重。
• 在股票市场等频繁更新的数据库中，实现对项目排名的高效、增量式更新。
• 通过基于扰动的更新延迟与上界估计，提升 HITS 算法在动态环境中的计算效率。

提出的方法

• 将项目与关联规则建模为加权有向图，其中节点代表项目，边代表规则关系。
• 应用支持加权节点与边的广义 HITS 算法，计算项目重要性得分。
• 引入一种在线特征向量计算方法，避免每次更新后进行完整重计算。
• 估计特征向量变化中扰动的上界，以延迟不必要的更新并降低计算负载。
• 当扰动保持在可接受范围内时推迟更新，提升动态数据流中的效率。
• 通过迭代计算中的相互强化投票机制，维持准确且实时的项目排名。

实验结果

研究问题

• RQ1 如何对频繁更新的动态数据库优化加权关联规则挖掘？
• RQ2 项目权重（如利润或促销活动）对规则挖掘的准确性和相关性有何影响？
• RQ3 增量特征向量计算能否提升 HITS 算法在动态环境中的效率？
• RQ4 如何利用扰动界最小化在线规则挖掘中的非必要重计算？
• RQ5 增强型 HITS 算法在动态数据场景中相较于经典 HITS 的性能提升如何？

主要发现

• 所提出的增强型 HITS 算法通过减少不必要的更新周期，在动态数据环境中实现了比原始 HITS 更高的效率。
• 基于扰动的上界估计成功识别出可在不显著损失排名准确性的情况下推迟更新的时机。
• 在线特征向量计算在最小化计算开销的同时，实现了对数据变化的实时响应。
• 加权有向图的集成使得基于业务或市场相关性的更准确、上下文感知的项目排名成为可能。
• 该方法能有效处理股票市场波动等动态数据，维持及时且相关的关联规则。
• 实验结果证实，优化方法在更新频率与计算成本方面均优于标准 HITS。