[논문 리뷰] A FP-Tree Based Approach for Mining All Strongly Correlated Pairs without Candidate Generation

Zengyou He, Xiaofei Xu외 1명|ArXiv.org|2004. 11. 12.

Data Mining Algorithms and Applications인용 수 5

한 줄 요약

이 논문은 후보 쌍을 생성하지 않고 강한 상관관계를 가지는 모든 아이템 쌍을 효율적으로 추출하기 위한 새로운 FP-트리 기반 알고리즘인 TCP를 제안한다. 트랜잭션 데이터를 압축하고 상관관계 기반의 경계를 이용해 탐색 공간을 단순화함으로써, 특히 높은 상관관계 임계값에서 실수 및 합성 데이터셋 전반에 걸쳐 Taper 알고리즘에 비해 런타임과 확장성 면에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Given a user-specified minimum correlation threshold and a transaction database, the problem of mining all-strong correlated pairs is to find all item pairs with Pearson's correlation coefficients above the threshold . Despite the use of upper bound based pruning technique in the Taper algorithm [1], when the number of items and transactions are very large, candidate pair generation and test is still costly. To avoid the costly test of a large number of candidate pairs, in this paper, we propose an efficient algorithm, called Tcp, based on the well-known FP-tree data structure, for mining the complete set of all-strong correlated item pairs. Our experimental results on both synthetic and real world datasets show that, Tcp's performance is significantly better than that of the previously developed Taper algorithm over practical ranges of correlation threshold specifications.

연구 동기 및 목표

• 대규모 트랜잭션 데이터베이스에서 상관관계 추출을 위한 후보 쌍 생성 및 테스트의 높은 계산 비용 문제를 해결하기 위해.
• 사용자가 정의한 임계값 이상의 피어슨 상관계수를 가지는 모든 아이템 쌍을 식별하기 위해 후보 생성이 필요 없도록 하기 위해.
• FP-트리 데이터 구조와 상관관계 기반의 프루닝 전략을 활용하여 상관관계 추출의 효율성과 확장성을 향상시키기 위해.
• 최소한의 I/O 및 계산 오버헤드로 대규모 데이터베이스에서 강한 상관관계를 가지는 아이템 쌍을 효율적으로 추출할 수 있는 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 데이터베이스의 빈도 높은 아이템셋을 압축하고 I/O 비용을 줄이기 위해 트랜잭션 데이터베이스에서 FP-트리를 구축한다.
• 피어슨 상관계수의 상한 및 하한 값을 기반으로 상관관계 기반의 경계를 이용해 후보 쌍을 조기에 제거하는 프루닝 전략을 사용한다.
• 후보 생성을 명시적으로 수행하지 않고도 상관관계가 임계값을 초과하는 모든 아이템 쌍을 추출하기 위해 FP-트리를 하향식으로 순회한다.
• 두 단계 접근 방식을 적용한다: 첫째, FP-트리를 구축한다; 둘째, 조건부 패턴을 재귀적으로 탐색하여 관련된 쌍을 추출한다.
• 중복 계산을 줄이기 위해 상관관계 인식 조건부 패턴 기반을 활용하여 탐색 과정을 안내한다.
• 트리 순회 중 상관계수 값에 대한 날카운 경계를 계산함으로써 동적 프루닝을 통합한다.

실험 결과

연구 질문

• RQ1 후보 쌍을 명시적으로 생성하지 않음으로써 상관관계 추출 과정의 속도를 향상시킬 수 있는가?
• RQ2 기존의 후보 기반 방법에 비해 FP-트리 구조가 강한 상관관계를 가지는 아이템 쌍을 추출하는 데 얼마나 효율적인가?
• RQ3 대규모 트랜잭션 데이터베이스에서 상관관계 기반의 프루닝이 탐색 공간을 얼마나 줄이는가?
• RQ4 TCP 알고리즘이 다양한 상관관계 임계값과 데이터셋 크기에서 Taper 알고리즘에 비해 어떻게 성능을 내는가?

주요 결과

• 모든 테스트 데이터셋과 상관관계 임계값에서 TCP는 Taper 알고리즘에 비해 런타임 면에서 뚜렷한 성능 향상을 보였다.
• 효율적인 프루닝 덕분에 고상관관계 상황에서 검사하는 후보 쌍의 수를 90% 이상 감소시켰다.
• 데이터셋 크기와 트랜잭션 수가 증가함에 따라 TCP는 잘 확장되며 일관된 성능 향상을 유지한다.
• FP-트리 구조는 데이터베이스를 압축하고 효율적인 패턴 탐색을 가능하게 하여 I/O 오버헤드를 줄였다.
• 실제 데이터셋과 합성 데이터셋에 대한 실험 결과, TCP는 속도와 메모리 효율성 면에서 뛰어난 성능을 입증했다.
• 다양한 상관관계 임계값 설정에서 안정적인 성능을 보였으며, 특히 높은 임계값에서 성능 향상이 더욱 두드러졌다.