[论文解读] Beyond Frequency: Utility Mining with Varied Item-Specific Minimum Utility

Wensheng Gan, Jerry Chun‐Wei Lin+3 more|arXiv (Cornell University)|Feb 25, 2019

Data Mining Algorithms and Applications参考文献 65被引用 4

一句话总结

该论文提出HIMU，一种单阶段效用挖掘算法，通过引入项目特定的最小效用阈值，解决了传统方法中统一阈值的局限性。通过提出新型MIU-tree结构、全局与条件向下封闭性属性，以及高效的剪枝策略，HIMU显著降低了运行时间和内存使用量，有效缓解了“稀有项目问题”，并在可扩展性和效率方面优于现有最先进算法。

ABSTRACT

Utility-oriented mining which integrates utility theory and data mining is a useful tool for understanding economic consumer behavior. Traditional algorithms for mining high-utility patterns (HUPs) applies a single/uniform minimum high-utility threshold (minutil) to obtain the set of HUPs, but in some real-life circumstances, some specific products may bring lower utilities compared with others, but their profit may offer some vital information. However, if minutil is set high, the patterns with low minutil are missed; if minutil is set low, the number of patterns becomes unmanageable. In this paper, an efficient one-phase utility-oriented pattern mining algorithm, called HIMU, is proposed for mining HUPs with varied item-specific minimum utility. A novel tree structure called a multiple item utility set-enumeration tree (MIU-tree), the global sorted and the conditional downward closure properties are introduced in HIMU. In addition, we extended the compact utility-list structure to keep the necessary information, and thus this one-phase HIMU model greatly reduces the computational costs and memory requirements. Moreover, two pruning strategies are then extended to enhance the performance. We conducted extensive experiments in several synthetic and real-world datasets; the results indicates that the designed one-phase HIMU algorithm can address the "rare item problem" and has better performance than the state-of-the-art algorithms in terms of runtime, memory usage, and scalability. Furthermore, the enhanced algorithms outperform the non-optimized HIMU approach.

研究动机与目标

• 解决传统高阶效用项目集挖掘（HUIM）方法中对所有项目使用单一统一最小效用阈值的局限性。
• 通过允许项目特定的最小效用阈值，实现更真实和灵活的效用挖掘，反映现实世界中产品盈利能力和重要性的差异。
• 通过按项目自适应调整阈值，消除‘稀有项目问题’——即低效用但具有意义的项目被忽略的问题。
• 设计一种高效的一阶段算法，避免候选集生成和多次数据库扫描，降低计算成本。
• 通过新颖的数据结构和剪枝策略，提升在真实世界和合成数据集上的可扩展性和性能。

提出的方法

• 提出多项目效用集枚举树（MIU-tree），一种紧凑的树结构，可直接枚举高阶效用项目集，无需候选集生成。
• 引入全局与条件向下封闭性（GDC与CDC）属性，确保反单调性，并实现对无希望项目集的有效剪枝。
• 采用紧凑的效用列表结构，高效存储必要的效用信息，最大限度减少内存使用。
• 设计两种增强剪枝策略——EUCP（高效效用压缩剪枝）与LAP（利用反单调剪枝）——通过早期剔除无希望分支，加速挖掘过程。
• 扩展效用列表结构，使用轻量级EUCS结构维护2-项目集的TWU（总加权效用）值。
• 实现一阶段挖掘流程，直接从MIU-tree中发现高阶效用项目集，无需多次数据库扫描或生成-测试阶段。

实验结果

研究问题

• RQ1 当项目盈利水平不同时，如何改进高阶效用项目集挖掘，使其对不同项目采用不同的最小效用阈值？
• RQ2 一阶段算法是否能在运行时间、内存使用和可扩展性方面优于现有的基于层次或候选集生成的HUIM方法？
• RQ3 在效用挖掘中，如何有效缓解‘稀有项目问题’——即低效用但具有意义的项目被过滤掉的问题？
• RQ4 可以设计哪些新颖的数据结构和剪枝技术，以减少内存消耗并加速面向效用的模式发现过程？
• RQ5 与基线HIMU及最先进算法相比，所提出的剪枝策略（EUCP与LAP）在性能提升方面达到何种程度？

主要发现

• 与HUI-MMU和HUI-MMU TID相比，所提出的HIMU算法在较大数据集上显著降低了运行时间和内存使用。
• 增强版HIMU EUCP、HIMU LAP和HIMU ELP算法在所有指标上（包括执行时间、内存消耗和生成项目集数量）均优于基线HIMU。
• MIU-tree结构实现了无需候选集生成或多次数据库扫描的直接挖掘，显著降低了计算开销。
• 全局与条件向下封闭性属性确保了算法的正确性，并支持有效剪枝，从而提升效率。
• 发现的HUI数量始终低于HTWUI数量（高总加权效用项目集），证实该算法能有效过滤掉意义较小的模式。
• 可扩展性实验表明，随着数据集规模增大，HIMU与基线算法之间的性能差距进一步扩大，验证了其优越的可扩展性。