[논문 리뷰] F-tree: an algorithm for clustering transactional data using frequency tree

Mahmoud Mahdi, Samir Abdelrahman외 2명|arXiv (Cornell University)|2017. 05. 01.

Data Mining Algorithms and Applications인용 수 7

한 줄 요약

F-Tree는 고차원적이고 대량의 거래 데이터를 위한 새로운 군집화 알고리즘으로, FP-Growth에 영감을 받은 빈도 트리 구조를 활용하여 먼저 작은 순수 군집을 만들고, 이를 효율적으로 병합한다. 확률적 겹침 기준을 도입함으로써 직접 군집화나 개선 기법에 비해 실행 시간을 크게 줄이고 군집 순도를 향상시켜 더 빠르고 고급 품질의 군집화 결과를 달성한다.

ABSTRACT

Clustering is an important data mining technique that groups similar data records, recently categorical transaction clustering is received more attention. In this research, we study the problem of categorical data clustering for transactional data characterized with high dimensionality and large volume. We propose a novel algorithm for clustering transactional data called F-Tree, which is based on the idea of the frequent pattern algorithm FP-tree; the fastest approaches to the frequent item set mining. And the simple idea behind the F-Tree is to generate small high pure clusters, and then merge them. That makes it fast, and dynamic in clustering large transactional datasets with high dimensions. We also present a new solution to solve the overlapping problem between clusters, by defining a new criterion function, which is based on the probability of overlapping between weighted items. Our experimental evaluation on real datasets shows that: Firstly, F-Tree is effective in finding interesting clusters. Secondly, the usage of the tree structure reduces the clustering process time of the large data set with high attributes. Thirdly, the proposed evaluation metric used efficiently to solve the overlapping of transaction items generates high-quality clustering results. Finally, we have concluded that the process of merging pure and small clusters increases the purity of resulted clusters as well as it reduces the time of clustering better than the process of generating clusters directly from dataset then refine clusters.

연구 동기 및 목표

• 대규모 고차원 순서 없는 거래 데이터셋을 효율적으로 군집화하는 데 도전하는 것.
• 트리 기반 빈도 패턴 추출 방법을 활용해 고차원 데이터에서 군집화 시간을 단축하고 군집 품질을 향상시키는 것.
• 가중치 기반 항목 확률에 기반한 새로운 기준을 도입하여 군집 간 겹침 문제를 해결하는 것.
• 작고 순수한 군집을 먼저 생성하고 병합하는 것이 직접 군집화나 반복적 개선보다 더 높은 순도와 성능을 제공함을 입증하는 것.

제안 방법

• F-Tree는 FP-Growth 알고리즘과 유사하게 거래 데이터로부터 빈도 트리(F-Tree)를 구축하여 빈도 패턴을 효율적으로 추출한다.
• F-Tree 내의 빈도 패턴에서 작은 순수 군집을 생성하여 계산 오버헤드를 줄인다.
• 공통 빈도 항목을 기반으로 하여 순수 군집을 병합하는 새로운 병합 전략을 도입한다.
• 가중치 기반 항목의 겹침 확률을 계산하는 새로운 기준 함수를 도입하여 군집 겹침을 해결한다.
• 중복된 군집 생성을 방지하고 확장성을 향상시키기 위해 빈도 기반의 가지치기 메커니즘을 사용한다.
• 최종 군집화 과정은 동적이고 증분적이라 대규모 거래 데이터에 적합하다.

실험 결과

연구 질문

• RQ1 빈도 트리 기반 접근법이 기존 방법에 비해 고차원 거래 데이터의 군집화를 더 빠르게 수행할 수 있는가?
• RQ2 작고 순수한 군집을 먼저 생성하고 병합하는 방식이 직접 군집화나 개선 기법보다 더 높은 군집 순도를 달성할 수 있는가?
• RQ3 확률적 겹침 기준이 군집 간 항목 할당 충돌을 효과적으로 해결할 수 있는가?
• RQ4 F-Tree 구조가 대규모 고차원 데이터셋에서 군집화 시간을 어느 정도 줄이는가?

주요 결과

• F-Tree는 실제 거래 데이터셋에서 의미 있고 흥미로운 군집을 효과적으로 식별한다.
• F-Tree 구조의 사용으로 고차원도가 높고 대용량인 데이터셋의 군집화 시간이 크게 감소한다.
• 제안된 확률적 겹침 기준은 군집 겹침을 효율적으로 해결하여 더 높은 품질의 군집화 결과를 도출한다.
• 작고 순수한 군집을 병합하는 방식은 직접 군집화나 개선 기법에 비해 군집 순도와 실행 효율성을 모두 향상시킨다.