[论文解读] Finding Associations and Computing Similarity via Biased Pair Sampling

Andrea Campagna, Rasmus Pagh|IT University Of Copenhagen (IT University of Copenhagen)|Oct 1, 2009

Data Mining Algorithms and Applications参考文献 16被引用 9

一句话总结

本文提出 BiSam，一种用于在不进行支持度剪枝的情况下，高效计算大规模事务数据集中的相似度并发现关联关系的有偏采样方法。通过基于项目对频率的采样策略，并采用一种新颖的偏差控制机制，BiSam 在事务较大且项目支持度中等至较高的情况下，相较于精确计数方法实现了显著加速（通常超过一个数量级），同时保持了较低的假负率。

ABSTRACT

This version is ***superseded*** by a full version that can be found at http://www.itu.dk/people/pagh/papers/mining-jour.pdf, which contains stronger theoretical results and fixes a mistake in the reporting of experiments. Abstract: Sampling-based methods have previously been proposed for the problem of finding interesting associations in data, even for low-support items. While these methods do not guarantee precise results, they can be vastly more efficient than approaches that rely on exact counting. However, for many similarity measures no such methods have been known. In this paper we show how a wide variety of measures can be supported by a simple biased sampling method. The method also extends to find high-confidence association rules. We demonstrate theoretically that our method is superior to exact methods when the threshold for "interesting similarity/confidence" is above the average pairwise similarity/confidence, and the average support is not too low. Our method is particularly good when transactions contain many items. We confirm in experiments on standard association mining benchmarks that this gives a significant speedup on real data sets (sometimes much larger than the theoretical guarantees). Reductions in computation time of over an order of magnitude, and significant savings in space, are observed.

研究动机与目标

• 解决在不应用支持度剪枝时，关联挖掘中精确计数带来的计算瓶颈问题。
• 实现在无需穷举所有项目对的情况下，高效计算多种相似度度量（如 Jaccard、余弦、提升度）和高置信度关联规则。
• 降低基于相似度的关联挖掘中的时间和空间复杂度，尤其适用于平均事务大小较大的数据集。
• 提供一种理论基础坚实的采样方法，作为精确计数和基于局部敏感哈希（LSH）方法的替代方案，并具备可证明的误差界。
• 证明在现代数据挖掘工作负载中，CPU 时间是比 I/O 或内存使用更重要的性能瓶颈，尤其是在使用快速存储和内存数据集的情况下。

提出的方法

• BiSam 采用一种有偏采样策略，根据项目对的共现频率优先选择，从而减少需评估的项目对数量。
• 该方法使用基于阈值的采样方案，其中项目对被选中的概率与其预期相似度或置信度成正比，聚焦于可能具有意义的关联关系。
• 通过控制误差率的统计采样估计相似度和置信度，使假负率可被控制（例如，实验中低于 2%）。
• 该算法支持多种相似度度量，包括 Jaccard、余弦、提升度和 all_confidence，并通过重叠系数扩展至高置信度关联规则。
• 与 LSH 或精确计数不同，它避免了对所有项目对进行完整事务扫描或签名比较。
• 理论分析表明，当相似度阈值 Δ 超过平均成对相似度且支持度不过低时，BiSam 优于精确方法。

实验结果

研究问题

• RQ1 是否可以使用有偏采样方法在不进行精确计数的情况下，高效计算 Jaccard、余弦和提升度等相似度度量？
• RQ2 在时间、空间和准确性方面，BiSam 与精确计数和基于 LSH 的方法相比表现如何？
• RQ3 在何种数据条件下（如事务大小、项目支持度）下，BiSam 能实现最大的加速比？
• RQ4 BiSam 是否可以扩展用于发现具有可证明误差控制的高置信度关联规则？
• RQ5 在现代内存数据挖掘工作负载中，CPU 时间是否比 I/O 或内存使用更具瓶颈性？

主要发现

• 在 Kosarak、Pumsb 和 T40I10D100K 等数据集上，BiSam 相较于精确计数实现了超过一个数量级的加速，时间比最高达 36.14。
• 在 Kosarak 数据集上，BiSam 将计算时间从 31.3 亿次操作减少至 1.48 亿次（加速 21 倍），空间从 3310 万单位减少至 479 万单位。
• 对于 DirectorsActor 数据集，尽管平均事务大小极大，但加速比仅为 7.64 倍，这证实了支持度水平的重要性。
• BiSam 的空间使用量始终低于精确计数，空间减少比率在不同数据集上介于 1.17 到 7.95 之间。
• 在 μ=15 的实验中，BiSam 的假负率仅为 1.8%，表现出强大的误差控制能力。
• 在空间效率方面，BiSam 优于基于 LSH 的方法，因为它避免了对所有哈希签名对进行比较，尤其在不同项目数量较多时更具优势。