[論文レビュー] Fast Algorithms for Mining Interesting Frequent Itemsets without Minimum Support

Shariq Bashir, Zahoor Jan+1 more|ArXiv.org|Apr 21, 2009

Data Mining Algorithms and Applications参考文献 16被引用数 4

ひとこと要約

本稿では、ユーザーが最小サポート閾値を定義する必要のない、上位-K 個の興味深い頻度の高いアイテムセットを抽出するための2つの効率的なアルゴリズム、N-MostMiner および Top-K-Miner を提案する。ビットベクトル表現を用いた高速な頻度カウントと最適化されたトランザクションプロジェクションにより、探索空間と処理オーバーヘッドを著しく削減し、BOMO や TFP といった既存手法と比較してベンチマークデータセット上での実行時間で優れる。

ABSTRACT

Real world datasets are sparse, dirty and contain hundreds of items. In such situations, discovering interesting rules (results) using traditional frequent itemset mining approach by specifying a user defined input support threshold is not appropriate. Since without any domain knowledge, setting support threshold small or large can output nothing or a large number of redundant uninteresting results. Recently a novel approach of mining only N-most/Top-K interesting frequent itemsets has been proposed, which discovers the top N interesting results without specifying any user defined support threshold. However, mining interesting frequent itemsets without minimum support threshold are more costly in terms of itemset search space exploration and processing cost. Thereby, the efficiency of their mining highly depends upon three main factors (1) Database representation approach used for itemset frequency counting, (2) Projection of relevant transactions to lower level nodes of search space and (3) Algorithm implementation technique. Therefore, to improve the efficiency of mining process, in this paper we present two novel algorithms called (N-MostMiner and Top-K-Miner) using the bit-vector representation approach which is very efficient in terms of itemset frequency counting and transactions projection. In addition to this, several efficient implementation techniques of N-MostMiner and Top-K-Miner are also present which we experienced in our implementation. Our experimental results on benchmark datasets suggest that the NMostMiner and Top-K-Miner are very efficient in terms of processing time as compared to current best algorithms BOMO and TFP.

研究の動機と目的

• スパースで現実的なデータセットにおいて、しばしば結果が得られなかったり、冗長な出力が多発するなど、従来の頻度の高いアイテムセット抽出手法がユーザー定義の最小サポート閾値に依存するという限界を解消すること。
• いかなるサポート閾値の入力も不要であるにもかかわらず、唯一最も興味深い頻度の高いアイテムセットのみを抽出できる効率的なアルゴリズムの開発。
• データベース表現、トランザクションプロジェクション、アルゴリズム実装の3つの主要要因を最適化することで、性能を向上させること。
• 大規模でスパースなデータセットからの興味深いアイテムセット抽出において、計算コストと探索空間の探索を低減すること。

提案手法

• アイテムセットの頻度カウントを高速化するため、ビットベクトル表現を活用し、より高速かつメモリ効率の良い計算を実現する。
• 探索空間内の下位レベルのノードに必要なトランザクションのみを伝搬するように最適化されたトランザクションプロジェクション技術を採用し、不要な計算を最小限に抑える。
• N-MostMiner および Top-K-Miner において、効率的なデータ構造の取り扱いや刈り込み戦略を含む高度なアルゴリズム的技術を実装し、性能を向上させる。
• 最小サポート閾値を必要とせず、最も興味深いアイテムセットを特定するトップ-K 選択メカニズムを適用する。
• 興味深い度合いに基づいてアイテムセットを動的にランク付けし、関連性の高い結果のみに焦点を当てるようにアルゴリズムを設計する。
• 二段階のアプローチを採用：まずビットベクトルを用いて候補アイテムセットを特定し、次に興味深い度合いスコアに基づいて上位-K をランク付けして選択する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、ユーザー定義の最小サポート閾値に依存せずに効率的な頻度の高いアイテムセット抽出が可能になるか？
• RQ2 上位-K 個の興味深いアイテムセット抽出において、処理オーバーヘッドを最小限に抑えるデータ表現技術は何か？
• RQ3 どのようにすれば、アイテムセット抽出における探索空間の探索を削減できるトランザクションプロジェクションを最適化できるか？
• RQ4 どのようなアルゴリズム的技術が、興味深い頻度の高いアイテムセット抽出における性能を顕著に向上させるか？
• RQ5 ビットベクトルベースのアプローチは、既存手法と比較して実行時間およびスケーラビリティの面でどのように差をつけるか？

主な発見

• N-MostMiner および Top-K-Miner は、BOMO や TFP といった最先端のアルゴリズムと比較して、ベンチマークデータセット上での処理時間が著しく速い。
• ビットベクトル表現により、アイテムセットの頻度カウントが極めて効率的に行えるようになり、大規模データセットにおける計算オーバーヘッドが低減する。
• 最適化されたトランザクションプロジェクションにより、無関係な計算の数が減少し、全体的なアルゴリズムの効率性が向上する。
• 提案手法は、いかなる最小サポート閾値の入力も不要であるにもかかわらず、上位-K 個の最も興味深いアイテムセットを正確に抽出できる。
• メモリ効率の良いデータ取り扱いやランク付け最適化を含む実装技術が、アルゴリズムの優れた性能に寄与している。
• 実験結果から、提案手法が良好にスケーリングされ、特にスパースで高次元の現実世界のデータセットに対して顕著に効果的であることが確認された。