[논문 리뷰] An Efficient Algorithm for Mining Multilevel Association Rule Based on Pincer Search

Pratima Gautam, Rahul Shukla|arXiv (Cornell University)|2012. 09. 27.

Data Mining Algorithms and Applications참고 문헌 17인용 수 3

한 줄 요약

이 논문은 Pincer Search, 다층 계층 구조, 및 각 수준별로 가변적인 최소 지원도를 사용하여 다층 연관 규칙을 효율적으로 추출하는 알고리즘을 제안한다. Pincer Search를 활용해 후보 항목집합을 조기에 추출하고 동적 데이터 구조를 유지함으로써 계산 오버헤드를 줄이며, 모든 빈도 높은 항목집합을 명시적으로 검토하지 않고도 효과적으로 다층 규칙을 발견할 수 있다. 이는 복잡한 지원 제약 조건을 다룰 때 효율성과 단순성을 입증한다.

ABSTRACT

Discovering frequent itemset is a key difficulty in significant data mining applications, such as the discovery of association rules, strong rules, episodes, and minimal keys. The problem of developing models and algorithms for multilevel association mining poses for new challenges for mathematics and computer science. In this paper, we present a model of mining multilevel association rules which satisfies the different minimum support at each level, we have employed princer search concepts, multilevel taxonomy and different minimum supports to find multilevel association rules in a given transaction data set. This search is used only for maintaining and updating a new data structure. It is used to prune early candidates that would normally encounter in the top-down search. A main characteristic of the algorithms is that it does not require explicit examination of every frequent itemsets, an example is also given to demonstrate and support that the proposed mining algorithm can derive the multiple-level association rules under different supports in a simple and effective manner

연구 동기 및 목표

• 계층적 데이터에서 각 수준에서 다른 최소 지원도 기준을 갖는 연관 규칙을 탐색하는 데 도전 과제를 해결하기 위해.
• 다층 거래 데이터베이스에서 후보 생성을 완전히 회피하는 확장성 있고 효율적인 알고리즘을 개발하기 위해.
• Pincer Search를 다층 계층 구조와 통합하여 검색 공간을 줄이고 성능을 향상시키기 위해.
• 모든 빈도 높은 항목집합을 명시적으로 열거하지 않고도 다양한 지원 제약 조건 하에서 효과적으로 다층 연관 규칙을 발견하기 위해.
• 구체적인 예를 통해 제안된 방법의 실현 가능성과 효율성을 입증하기 위해.

제안 방법

• 알고리즘은 지원 제약 조건에 기반해 후보 항목집합을 반복적으로 생성하고 추출하는 데 Pincer Search를 사용하여 후보 생성을 완전히 회피한다.
• 다층 계층 구조를 사용해 다양한 추상 수준에서 항목을 표현함으로써 계층적 규칙 탐색을 가능하게 한다.
• 계층의 각 수준에 다른 최소 지원도 기준을 적용하여 실제 데이터 분포를 반영한다.
• 검색 과정 중에 빈도 높은 항목집합을 추적하고 비생산적인 후보를 조기에 추출하기 위해 동적 데이터 구조를 유지하고 업데이트한다.
• Pincer Search의 이중 병합 전략을 통해 유망한 후보들에만 집중함으로써 모든 빈도 높은 항목집합을 명시적으로 검토하지 않도록 한다.
• 최종 규칙 생성 과정에서 유효하고 높은 지원도를 갖는 항목집합만 고려하기 위해 각 수준에서 지원 제약 조건을 통합한다.

실험 결과

연구 질문

• RQ1 계층의 각 수준에서 다른 최소 지원도 기준이 요구될 경우, 어떻게 다층 연관 규칙을 효율적으로 탐색할 수 있는가?
• RQ2 Pincer Search는 다층 연관 규칙 탐색에서 검색 공간을 효과적으로 줄일 수 있는가, 동시에 완전성도 유지할 수 있는가?
• RQ3 각 수준에서 가변적인 지원도 기준을 사용할 경우, 탐색 과정의 확장성과 성능에 어떤 영향을 미치는가?
• RQ4 동적 데이터 구조는 다층 탐색 중 후보 항목집합을 효율적으로 유지하고 업데이트하는 데 어떻게 활용될 수 있는가?
• RQ5 제안된 방법은 기존 방법보다 더 단순하고 효과적으로 의미 있는 다층 규칙를 도출할 수 있는가?

주요 결과

• 제안된 알고리즘은 각 수준에서 다른 최소 지원도 기준을 갖는 상황에서도 다층 연관 규칙을 성공적으로 탐색하여 계층적 데이터에 대한 적응성을 입증한다.
• Pincer Search를 사용함으로써 검토되는 후보 항목집합의 수를 줄여 계산 효율성을 향상시킨다.
• 모든 빈도 높은 항목집합을 명시적으로 열거하지 않음으로써 메모리 및 처리 오버헤드를 크게 감소시킨다.
• 다층 계층 구조와 가변 지원 제약 조건을 통합함으로써 실제 데이터베이스에서 더 현실적이고 의미 있는 규칙 탐색이 가능해진다.
• 구체적인 예를 통해 알고리즘이 단순하고 효과적인 방식으로 다단계 연관 규칙를 도출할 수 있음을 보여준다.
• 조기 추출과 동적 데이터 구조 유지 보수 덕분에 이 방법은 대규모 거래 데이터베이스에 적합하고 확장성이 뛰어나다.