[論文レビュー] A Tight Upper Bound on the Number of Candidate Patterns

Floris Geerts, Bart Goethals+1 more|ArXiv.org|Dec 7, 2001

Data Mining Algorithms and Applications参考文献 17被引用数 34

ひとこと要約

本論文は、Kruskal-Katona理論に基づき、頻度パターンマイニングにおける候補パターンの数に対するタイトな組合せ的上限を提示する。この上限により、将来の候補生成を正確に予測可能となり、組合せ的爆発を回避するリスクを伴わず、Aprioriに類似したアルゴリズムがデータベーススキャンを安全に削減できる。実験では、予測精度がほぼ完璧であり、候補パターンの増加の兆候を早期に検出できることが示された。

ABSTRACT

In the context of mining for frequent patterns using the standard levelwise algorithm, the following question arises: given the current level and the current set of frequent patterns, what is the maximal number of candidate patterns that can be generated on the next level? We answer this question by providing a tight upper bound, derived from a combinatorial result from the sixties by Kruskal and Katona. Our result is useful to reduce the number of database scans.

研究の動機と目的

• Aprioriアルゴリズムの将来の段階で生成可能な候補パターンの最大数を推定する課題に対処すること。
• ヒューリスティックな過大評価を回避し、候補生成における組合せ的爆発を防ぐ理論的に妥当なタイトな上限を提供すること。
• 残りの候補数に確実な保証を提供することで、繰り返しの統合などの最適化戦略を可能にすること。
• さまざまなAprioriに類似したアルゴリズムに適用可能な一般化された上限を提供し、正しさを損なわず効率を向上させること。

提案手法

• 組合せ論におけるKruskal-Katona定理を活用し、任意の段階における候補パターンの数に対するタイトな上限を導出する。
• 上限を再帰的に適用することで、単一パス推定よりも高い精度で将来の候補増加を推定する。
• 頻度パターンの構造を組み込むことで、標準的な上限を上回る精度を示す改良版、KK* および μ* を導入する。
• 上限を用いて、上限が低い場合には複数の反復を1回の処理に統合するなどのアルゴリズム的意思決定を支援する。
• 改良されたAprioriフレームワークに上限を実装・評価し、予測値と実際の候補数を比較する。
• さまざまなサポート閾値の下で、実世界のデータセット（例：BMS-Webview-1、マッシュルーム、バスケット）を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 Aprioriアルゴリズムの将来の段階で生成可能な候補パターンの数に対する、最もタイトな上限は何か？
• RQ2 この上限は、効率的に計算可能であり、パスの統合などの安全な最適化戦略を導くために使用可能か？
• RQ3 多様なデータセットおよびサポート閾値において、この上限は実際の候補数をどれほど正確に予測できるか？
• RQ4 この上限は、組合せ的爆発を防ぎつつ、データベーススキャンを削減する既存のヒューリスティクスを上回るか？

主な発見

• 提案されたKK*上限は、最初の数ステップを除き、各段階で実際の候補数とほぼ完璧に一致する。
• マッシュルームおよび人工データセットでは、サイズ3の頻度パターンが特定されると、上限はほぼ正確になる。
• BMS-Webview-1データセットでは、サイズ6の頻度パターンが特定された段階で、高い精度に達する。
• 初期の減少後に再び候補数が増加する兆候を、上限が正しく予測しており、これはヒューリスティック手法が停止の兆候と誤解する可能性がある。
• 上限を用いたアルゴリズムは、BMS-Webview-1において第5段階目で残りのすべての反復を1回のパスに統合できる。これにより15回のスキャンが6回に削減された。
• 上限が多数の候補を予測しても、事前に生成を避けることでメモリオーバーフローを防止し、パフォーマンスを維持できる。