[논문 리뷰] Foundation for Frequent Pattern Mining Algorithms Implementation

Tanna Paresh, Yogesh Ghodasara|arXiv (Cornell University)|2014. 02. 08.

Data Mining Algorithms and Applications참고 문헌 5인용 수 4

한 줄 요약

이 논문은 Apriori 및 Direct Hashing and Pruning(DHP) 기법을 분석하고 비교하여 빈번한 패턴 마이닝 알고리즘을 구현하기 위한 기초 프레임워크를 수립한다. 후보 생성, 데이터베이스 스캔, 트랜잭션 프루닝 측면에서 성능을 평가하여 연관 규칙 마이닝에서 더 효율적인 알고리즘 개발을 위한 비교 기반을 제공한다.

ABSTRACT

As with the development of the IT technologies, the amount of accumulated data is also increasing. Thus the role of data mining comes into picture. Association rule mining becomes one of the significant responsibilities of descriptive technique which can be defined as discovering meaningful patterns from large collection of data. The frequent pattern mining algorithms determine the frequent patterns from a database. Mining frequent itemset is very fundamental part of association rule mining. Many algorithms have been proposed from last many decades including majors are Apriori, Direct Hashing and Pruning, FP-Growth, ECLAT etc. The aim of this study is to analyze the existing techniques for mining frequent patterns and evaluate the performance of them by comparing Apriori and DHP algorithms in terms of candidate generation, database and transaction pruning. This creates a foundation to develop newer algorithm for frequent pattern mining.

연구 동기 및 목표

• 대규모 데이터를 처리하는 데 있어 기존 빈번한 패턴 마이닝 기법, 특히 Apriori 및 DHP의 효율성을 분석하기 위해.
• 후보 생성, 데이터베이스 스캔, 트랜잭션 프루닝 측면에서 Apriori 및 DHP 알고리즘의 성능을 평가하기 위해.
• 더 효율적인 빈번한 패턴 마이닝 알고리즘 설계를 위한 비교 기반을 마련하기 위해.
• 현재 접근 방식의 강점과 한계를 규명하여 차세대 알고리즘 개발을 지원하기 위해.

제안 방법

• 빈번한 패턴 마이닝에서 표준 성능 메트릭을 사용하여 Apriori 및 DHP 알고리즘 간의 비교 분석을 수행한다.
• 후보 생성 과정을 평가하여 생성된 후보 세트 수와 계산 비용에 중점을 둔다.
• 검색 공간을 줄이고 효율성을 향상시키는 데 효과적인 데이터베이스 및 트랜잭션 프루닝 기법을 평가한다.
• 트랜잭션 데이터베이스에서 알고리즘 행동의 이론적 및 실증적 평가를 기반으로 분석을 수행한다.
• 실행 시간, 데이터베이스 스캔 수, 후보 세트 크기와 같은 메트릭을 사용하여 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 Apriori 및 DHP 알고리즘이 후보 생성 오버헤드 측면에서 어떻게 비교되는가?
• RQ2 데이터베이스 및 트랜잭션 프루닝은 빈번한 패턴 마이닝의 효율성에 어떤 영향을 미치는가?
• RQ3 데이터베이스 스캔 수를 줄이는 데 있어 Apriori 또는 DHP 중 어느 알고리즘이 더 우수한 성능을 보이는가?
• RQ4 두 알고리즘 간의 후보 생성 및 프루닝의 계산 비용은 어떻게 다름이 있는가?

주요 결과

• DHP 알고리즘은 생성된 후보 세트 수를 줄여 더 높은 효율성을 달성하여 Apriori를 능가한다.
• 해시 기반 후보 프루닝 메커니즘 덕분에 DHP는 데이터베이스 스캔 수를 줄이는 데 뛰어난 성능을 보인다.
• DHP의 트랜잭션 프루닝은 Apriori보다 더 효과적이며, 검색 공간을 더 효율적으로 줄인다.
• 이 연구는 DHP가 Apriori의 단계별 접근 방식에 비해 후보 생성의 계산 오버헤드를 줄임을 확인한다.