[论文解读] A Tight Upper Bound on the Number of Candidate Patterns

Floris Geerts, Bart Goethals+1 more|ArXiv.org|Dec 7, 2001

Data Mining Algorithms and Applications参考文献 17被引用 34

一句话总结

本文基於Kruskal-Katona理論，提出了一個緊緻的組合上界，用於頻繁模式挖掘中候選模式數量的估算。該上界可精確預測未來的候選生成情況，使類Apriori的算法能安全地減少資料庫掃描次數，而不會引發組合爆炸問題。實驗結果顯示，預測精度近乎完美，並能早期檢測到候選增長的突增。

ABSTRACT

In the context of mining for frequent patterns using the standard levelwise algorithm, the following question arises: given the current level and the current set of frequent patterns, what is the maximal number of candidate patterns that can be generated on the next level? We answer this question by providing a tight upper bound, derived from a combinatorial result from the sixties by Kruskal and Katona. Our result is useful to reduce the number of database scans.

研究动机与目标

• 解決估算Apriori算法未來層級中可能生成的候選模式最大數量的挑戰。
• 提供一個理論上穩健且緊緻的上界，避免啟發式方法的過度估計，並防止候選生成過程中的組合爆炸。
• 透過對剩餘候選數量提供嚴密的保證，支援優化策略（如合併迭代）的應用。
• 將該上界推廣至各種類似Apriori的算法中，提升效率而不損失正確性。

提出的方法

• 利用組合數學中的Kruskal-Katona定理，推導出任意層級上候選模式數量的緊緻上界。
• 遞迴應用該上界以估算未來的候選增長，相較於單次估算，精度更高。
• 提出改良版本KK*與μ*，透過整合頻繁模式的結構特徵，優於標準上界。
• 利用上界指導算法決策，例如當上界較低時，將多輪迭代合併為單一輪。
• 在修改後的Apriori框架中實現並評估該上界，將預測值與實際候選數量進行比較。
• 在真實世界數據集（如BMS-Webview-1、mushroom、basket）上進行驗證，並在不同支持度閾值下測試。

实验结果

研究问题

• RQ1 Apriori算法未來層級中可能生成的候選模式數量，其最緊緻的上界為何？
• RQ2 該上界能否高效計算，並用於引導安全的優化策略（如合併掃描次數）？
• RQ3 該上界在多種數據集與支持度閾值下，預測實際候選數量的準確度如何？
• RQ4 該上界是否優於現有啟發式方法，在防止組合爆炸的同時減少資料庫掃描次數？

主要发现

• 所提出的KK*上界在每一層級與實際候選數量近乎完美匹配，特別是在前幾輪迭代後。
• 在mushroom與人工生成的數據集中，一旦掌握大小為3的頻繁模式，上界便幾乎完全精確。
• 在BMS-Webview-1數據集中，當掌握大小為6的頻繁模式時，上界已達極高準確度。
• 該上界成功預測到候選數量在初始下降後的再次回升，而啟發式方法可能誤判為停止信號。
• 使用該上界的算法，可在BMS-Webview-1數據集中，自第五輪迭代起，便安全地將剩餘所有迭代合併為單一掃描，將原本15輪減少至6輪。
• 即使上界預測候選數量龐大，該方法仍透過避免過早生成候選，防止記憶體溢出，從而維持性能。