[论文解读] Mining high on-shelf utility itemsets with negative values from dynamic updated database

Anjali N. Radkar, Sayali Pawar|arXiv (Cornell University)|Jul 7, 2015

Data Mining Algorithms and Applications参考文献 12被引用 3

一句话总结

本文提出了一种动态算法，用于在随时间演化的时序数据库中挖掘具有负利润的高在架实用项集。该算法通过增量方式更新结果，而非从头开始重新运行，显著降低了计算开销，同时准确捕捉了随时间变化的项集实用度，包括具有负实用度值的项。

ABSTRACT

Utility mining emerged to overcome the limitations of frequent itemset mining by considering the utility of an item. Utility of an item is based on user's interest or preference. Recently, temporal data mining has become a core technical data processing technique to deal with changing data. On-shelf utility mining considers on-shelf time period of item and gets the accurate utility values of itemsets in temporal database. In traditional on-shelf utility mining, profits of all items in databases are considered as positive values. However, in real applications, some items may have negative profit. Most of the traditional algorithms are used to handle static database. In practical situations, temporal databases are continually appended or updated. High on-shelf utility itemsets needs to be updated. Re-running the temporal mining algorithm every time is ineffective since it neglects previously discovered itemsets. It repeats the work done previously. In this paper, an effective algorithm is proposed to find high on-shelf utility itemsets with negative values from the dynamic updated temporal database.

研究动机与目标

• 解决传统在架实用度挖掘方法仅假设物品利润为正的局限性。
• 实现在持续更新的时序数据库中高效发现高实用度项集。
• 支持物品的负实用度值，反映现实世界中的损失或成本情景。
• 通过增量更新结果而非重新处理整个数据库，降低计算成本。
• 通过同时考虑在架持续时间和物品特定的利润/损失值，保持实用度估计的准确性。

提出的方法

• 扩展在架实用度模型，以包含物品的负实用度值，反映成本或损失。
• 引入增量更新机制，利用先前发现的项集以避免重复计算。
• 维护一个动态结构，基于在架时间段和实用度值跟踪项集实用度。
• 应用实用度计算，聚合随时间的物品实用度，同时考虑正负贡献。
• 使用基于实用度边界的剪枝策略，以减少增量更新过程中的搜索空间。
• 采用基于事务的更新机制，高效处理新增或修改的事务。

实验结果

研究问题

• RQ1 如何将在架实用度挖掘扩展以处理具有负实用度值的物品？
• RQ2 在动态更新的时序数据库中，如何高效维护高在架实用度项集？
• RQ3 增量更新能否降低每次数据库变更后重新运行实用度挖掘算法的计算成本？
• RQ4 包含负实用度值如何影响挖掘项集的准确性和完整性？
• RQ5 哪些机制可确保在增量更新过程中有效重用先前发现的项集？

主要发现

• 所提出的算法通过重用先前结果并最小化冗余计算，在性能上显著优于完整重新处理。
• 该方法准确捕捉了具有负实用度值的项集，反映了涉及损失或成本的现实世界商业情景。
• 与批量处理相比，增量更新降低了时间复杂度，尤其在频繁更新的数据库中优势更明显。
• 通过同时考虑在架持续时间和实用度符号（正/负），该算法以高精度维护高实用度项集。
• 实验评估表明，随着数据库规模和更新频率的增加，增量方法具有更好的可扩展性。
• 该方法支持在实时或近实时数据挖掘应用中实际部署，适用于动态演变的事务数据。