[논문 리뷰] A Tight Upper Bound on the Number of Candidate Patterns

Floris Geerts, Bart Goethals외 1명|ArXiv.org|2001. 12. 07.

Data Mining Algorithms and Applications참고 문헌 17인용 수 34

한 줄 요약

이 논문은 크루스칼-카토나 이론에서 유도된 조합론적 상한을 바탕으로 빈번한 패턴 마이닝에서 후보 패턴의 수에 대한 날카운 상한을 제시한다. 이는 향후 후보 생성을 정확하게 예측할 수 있게 하여 Apriori 유사 알고리즘에서 조합 폭발의 위험 없이 데이터베이스 스캔 횟수를 안전하게 줄일 수 있도록 한다. 실험 결과, 예측 정확도가 거의 완벽하며 후보 성장의 급격한 증가를 조기에 탐지할 수 있음을 보여준다.

ABSTRACT

In the context of mining for frequent patterns using the standard levelwise algorithm, the following question arises: given the current level and the current set of frequent patterns, what is the maximal number of candidate patterns that can be generated on the next level? We answer this question by providing a tight upper bound, derived from a combinatorial result from the sixties by Kruskal and Katona. Our result is useful to reduce the number of database scans.

연구 동기 및 목표

• Apriori 알고리즘의 향후 레벨에서 생성될 수 있는 후보 패턴의 최대 수를 추정하는 문제에 대응하기 위해.
• 휴리스틱적 과대추정을 피하고 후보 생성 시 조합 폭발을 방지하는 이론적으로 타당한 날카운 상한을 제공하기 위해.
• 남아 있는 후보 수에 대한 철저한 보장을 제공함으로써 최적화 전략(예: 반복 단위 통합 등)을 가능하게 하기 위해.
• 다양한 Apriori 유사 알고리즘에 적용 가능한 일반화된 상한을 제공함으로써 정확성에 손상이 가지 않도록 효율성을 향상시키기 위해.

제안 방법

• 조합론의 크루스칼-카토나 정리를 활용하여, 어떤 레벨에서나 후보 패턴 수에 대한 날카운 상한을 도출한다.
• 상한을 재귀적으로 적용하여 향후 후보 성장을 더 정확하게 추정하며, 단일 스캔 추정보다 정확도를 향상시킨다.
• 빈번한 패턴의 구조를 통합함으로써 표준 상한보다 우수한 성능을 보이는 개선된 변형인 KK* 및 μ*를 도입한다.
• 상한을 알고리즘적 결정에 활용하며, 예를 들어 상한이 낮을 경우 여러 반복을 하나의 반복으로 통합하는 등의 전략을 수립한다.
• 수정된 Apriori 프레임워크에 상한을 구현하고, 예측된 후보 수와 실제 후보 수를 비교하여 평가한다.
• 다양한 지지도 기준을 가진 실제 데이터셋(BMS-Webview-1, 버섯, 바구니 등)에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 Apriori 알고리즘의 향후 레벨에서 생성될 수 있는 후보 패턴 수에 대한 가장 날카운 가능한 상한은 무엇인가?
• RQ2 이 상한은 효율적으로 계산될 수 있으며, 스캔 통합과 같은 안전한 최적화 전략을 안내하는 데 사용될 수 있는가?
• RQ3 다양한 데이터셋과 지지도 기준에서 실제 후보 수를 예측하는 데 있어 이 상한의 정확도는 어떠한가?
• RQ4 기존 휴리스틱보다 조합 폭발을 방지하면서 데이터베이스 스캔 횟수를 줄이는 데 있어 이 상한이 더 나은 성능을 보이는가?

주요 결과

• 제안된 KK* 상한은 첫 몇 번의 반복 이후로 각 레벨에서 실제 후보 수와 거의 완벽한 정확도로 일치한다.
• 버섯 및 인위적 데이터셋의 경우, 크기 3의 빈번한 패턴이 알려지면 상한이 거의 정확해진다.
• BMS-Webview-1 데이터셋에서, 크기 6의 빈번한 패턴이 알려지기까지의 시점에서 상한의 정확도가 매우 높아진다.
• 상한은 초기 감소 이후 후보 수의 재등장(재진입)을 성공적으로 예측하며, 이는 휴리스틱 방법이 멈추라는 신호로 오해할 수 있는 상황이다.
• 상한을 사용하는 알고리즘은 BMS-Webview-1에서 다섯 번째 반복까지도 나머지 모든 반복을 하나의 스캔으로 통합할 수 있으며, 15회의 스캔을 6회로 줄일 수 있다.
• 상한이 후보 수가 많다고 예측하더라도, 이는 조기 생성을 방지함으로써 메모리 오버플로우를 방지하고 성능 유지를 보장한다.