[論文レビュー] F-tree: an algorithm for clustering transactional data using frequency tree

Mahmoud Mahdi, Samir Abdelrahman+2 more|arXiv (Cornell University)|May 1, 2017

Data Mining Algorithms and Applications被引用数 7

ひとこと要約

F-Treeは、FP-Growthにインspiredされた頻度木構造を活用して、まず小規模で純度の高いクラスタを構築し、その後でそれらを効率的に統合する、高次元で大容量のトランザクショナルデータを対象とした新しいクラスタリングアルゴリズムである。確率的重複基準を導入することで、直接クラスタリングや精錬アプローチと比較して実行時間を著しく短縮し、クラスタ純度を向上させ、より高速で高品質なクラスタリングを実現する。

ABSTRACT

Clustering is an important data mining technique that groups similar data records, recently categorical transaction clustering is received more attention. In this research, we study the problem of categorical data clustering for transactional data characterized with high dimensionality and large volume. We propose a novel algorithm for clustering transactional data called F-Tree, which is based on the idea of the frequent pattern algorithm FP-tree; the fastest approaches to the frequent item set mining. And the simple idea behind the F-Tree is to generate small high pure clusters, and then merge them. That makes it fast, and dynamic in clustering large transactional datasets with high dimensions. We also present a new solution to solve the overlapping problem between clusters, by defining a new criterion function, which is based on the probability of overlapping between weighted items. Our experimental evaluation on real datasets shows that: Firstly, F-Tree is effective in finding interesting clusters. Secondly, the usage of the tree structure reduces the clustering process time of the large data set with high attributes. Thirdly, the proposed evaluation metric used efficiently to solve the overlapping of transaction items generates high-quality clustering results. Finally, we have concluded that the process of merging pure and small clusters increases the purity of resulted clusters as well as it reduces the time of clustering better than the process of generating clusters directly from dataset then refine clusters.

研究の動機と目的

• 大規模で高次元のカテゴリカルなトランザクショナルデータセットを、効率的にクラスタリングする課題に対処すること。
• 木ベースの頻度パターンマイニングアプローチを活用して、高次元データにおけるクラスタリング時間の短縮とクラスタ品質の向上を図ること。
• 重み付きアイテムの確率に基づく新しい基準を導入することで、クラスタ内の重複問題を解決すること。
• 小規模で純度の高いクラスタを最初に生成し、それらを統合することで、直接クラスタリングや反復的精錬と比較して、より高い純度とパフォーマンスが得られることを示すこと。

提案手法

• F-Treeは、FP-Growthアルゴリズムに類似した方法で、トランザクショナルデータから頻度木（F-Tree）を構築し、頻度パターンを効率的にマイニングする。
• F-Tree構造内の頻度パターンから、小規模で高純度のクラスタを生成することで、計算オーバーヘッドを低減する。
• 新規のマージ戦略により、共通する頻度の高いアイテムに基づいて、これらの純度の高いクラスタを統合して最終的なクラスタを形成する。
• 重み付きアイテム間の重複確率を計算する新しい基準関数を導入し、クラスタ内の重複を解消する。
• 重複したクラスタの生成を回避し、スケーラビリティを向上させるために、頻度に基づくプルーニング機構を用いる。
• 最終的なクラスタリング処理は動的かつインクリメンタルであり、大規模なトランザクショナルデータに適している。

実験結果

リサーチクエスチョン

• RQ1 頻度木ベースのアプローチは、従来の方法と比較して、高次元トランザクショナルデータのクラスタリングをより高速に行えるか？
• RQ2 小規模で純度の高いクラスタを最初に生成し、それらを統合することで、直接クラスタリングや精錬と比較して高いクラスタ純度が得られるか？
• RQ3 確率的重複基準は、クラスタ間のアイテム割り当ての矛盾を効果的に解消できるか？
• RQ4 F-Tree構造は、大規模で高次元のデータセットにおいて、どの程度クラスタリング時間を短縮できるか？

主な発見

• F-Treeは、実世界のトランザクショナルデータセットにおいて、意味的で興味深いクラスタを効果的に同定できる。
• F-Tree構造の活用により、高次元の属性を有する大規模データセットのクラスタリング時間が顕著に短縮される。
• 提案された確率的重複基準は、クラスタの重複を効率的に解消し、より高品質なクラスタリング結果をもたらす。
• 小規模で純度の高いクラスタを生成してから統合することで、直接クラスタリングや精錬と比較して、クラスタ純度と実行効率の両方が向上する。