[論文レビュー] A FP-Tree Based Approach for Mining All Strongly Correlated Pairs without Candidate Generation

Zengyou He, Xiaofei Xu+1 more|ArXiv.org|Nov 12, 2004

Data Mining Algorithms and Applications被引用数 5

ひとこと要約

本稿では、候補ペアの生成を伴わずに、強相関のあるアイテムペアを効率的に抽出するFPツリーに基づく新規なアルゴリズムTCPを提案する。FPツリー構造を用いて取引データを圧縮し、相関境界を用いた探索空間の剪定により、合成および実世界のデータセットにおいて、特に高相関閾値下で、Taperアルゴリズムに比べて実行時間とスケーラビリティの面で顕著に優れている。

ABSTRACT

Given a user-specified minimum correlation threshold and a transaction database, the problem of mining all-strong correlated pairs is to find all item pairs with Pearson's correlation coefficients above the threshold . Despite the use of upper bound based pruning technique in the Taper algorithm [1], when the number of items and transactions are very large, candidate pair generation and test is still costly. To avoid the costly test of a large number of candidate pairs, in this paper, we propose an efficient algorithm, called Tcp, based on the well-known FP-tree data structure, for mining the complete set of all-strong correlated item pairs. Our experimental results on both synthetic and real world datasets show that, Tcp's performance is significantly better than that of the previously developed Taper algorithm over practical ranges of correlation threshold specifications.

研究の動機と目的

• 大規模な取引データベースにおける相関抽出のための候補ペア生成とテストの高コストを解消すること。
• ユーザーが定義した閾値を超えるピアソン相関係数を有するすべてのアイテムペアを特定するにあたり、候補生成の必要性を排除すること。
• FPツリーのデータ構造と相関に基づく剪定を活用することで、相関抽出の効率性とスケーラビリティを向上させること。
• 最小限のI/Oおよび計算オーバーヘッドで、大規模データベースにおける強相関アイテムペアの抽出を可能にするスケーラブルなソリューションを提供すること。

提案手法

• データベースの取引データからFPツリーを構築し、頻出アイテムセットを圧縮し、I/Oコストを低減する。
• ピアソン相関係数の上限および下限に基づき、相関境界を用いた剪定戦略を採用し、候補ペアを早期に除外する。
• 下位から上位への順序でFPツリーを走査し、閾値を超える相関を持つすべてのアイテムペアを抽出する。この際、明示的な候補ペアの生成を回避する。
• 2段階のアプローチを採用する：まずFPツリーを構築し、次に条件付きパターンを再帰的に探索することで関連するペアを抽出する。
• 冗長な計算を低減するため、相関に配慮した条件付きパターンベースを活用する。
• ツリー走査中に相関値のタイトな境界を計算することで、動的剪定を統合する。

実験結果

リサーチクエスチョン

• RQ1 候補ペアの明示的生成を回避することで、相関抽出プロセスを高速化できるか？
• RQ2 FPツリー構造は、従来の候補ベースの手法と比較して、強相関アイテムペア抽出の効率をどのように向上させるか？
• RQ3 相関に基づく剪定は、大規模な取引データベースにおける探索空間をどの程度削減できるか？
• RQ4 TCPは、さまざまな相関閾値およびデータセットサイズにおいて、Taperアルゴリズムと比較してどのように性能を発揮するか？

主な発見

• TCPは、すべてのテスト済みデータセットおよび相関閾値において、Taperアルゴリズムに比べて実行時間の面で顕著に優れたパフォーマンスを発揮する。
• 高い相関状況では、効果的な剪定のおかげで、検査される候補ペアの数を90％以上削減する。
• データセットサイズおよび取引件数の増加に伴ってもTCPは良好にスケーリングされ、一貫したパフォーマンス向上を維持する。
• FPツリー構造により、データベースの圧縮と効率的なパターン探索が可能となり、I/Oオーバーヘッドが低減される。
• 実世界および合成データセットを用いた実験結果から、TCPの速度およびメモリ効率における優位性が確認された。
• 異なる相関閾値設定においてもTCPは頑健な性能を示し、特に高い閾値で性能向上が顕著に現れる。