[논문 리뷰] Mining All Non-Derivable Frequent Itemsets

Toon Calders, Bart Goethals|ArXiv.org|2002. 06. 03.

Data Mining Algorithms and Applications참고 문헌 12인용 수 24

한 줄 요약

이 논문은 유한한 추론 규칙 집합을 사용하여 엄밀한 지지도 범위를 유도함으로써, 모든 유도 불가능한 빈도 높은 항목집합(NDIs)을 채굴하는 새로운 프레임워크를 제안한다. 이는 빈도 높은 항목집합의 최소화되고 간결한 표현을 가능하게 하며, 전체 데이터베이스 스캔을 피하는 추론 기반 지지도 유도를 통해 결과 크기를 크게 줄이고 기존 알고리즘을 초월하는 성능을 달성한다.

ABSTRACT

Recent studies on frequent itemset mining algorithms resulted in significant performance improvements. However, if the minimal support threshold is set too low, or the data is highly correlated, the number of frequent itemsets itself can be prohibitively large. To overcome this problem, recently several proposals have been made to construct a concise representation of the frequent itemsets, instead of mining all frequent itemsets. The main goal of this paper is to identify redundancies in the set of all frequent itemsets and to exploit these redundancies in order to reduce the result of a mining operation. We present deduction rules to derive tight bounds on the support of candidate itemsets. We show how the deduction rules allow for constructing a minimal representation for all frequent itemsets. We also present connections between our proposal and recent proposals for concise representations and we give the results of experiments on real-life datasets that show the effectiveness of the deduction rules. In fact, the experiments even show that in many cases, first mining the concise representation, and then creating the frequent itemsets from this representation outperforms existing frequent set mining algorithms.

연구 동기 및 목표

• 유도 가능한 패턴을 논리적 추론을 통해 탐지함으로써 빈도 높은 항목집합의 중복을 식별하고 제거하는 것.
• 데이터베이스 스캔 없이도 후보 항목집합의 엄밀한 지지도 간격을 유도할 수 있는 완전한 추론 규칙 집합을 개발하는 것.
• 모든 빈도 높은 항목집합을 유지하는 최소 표현인 유도 불가능한 빈도 높은 항목집합(NDIs)을 구성하는 것.
• 표준 빈도 높은 항목집합 채굴보다 NDIs 표현을 먼저 채굴하고 전체 지지도를 추론하는 것이 더 빠르다는 것을 입증하는 것.
• NDIs와 기존의 간결한 표현 방식(예: 닫힌 집합, 자유 집합, 논리합 없는 집합 등) 간의 이론적 및 실험적 연결 고리를 확립하는 것.

제안 방법

• 후보 항목집합의 지지도 범위를 부분집합 지지도 기반으로 추론할 수 있는 추론 규칙(R_I(S))의 형식적 프레임워크를 제안한다.
• I-프로젝션을 사용하여 관련 트랜잭션을 분리하고 전체 데이터베이스 스캔 없이도 효율적으로 지지도 범위를 계산한다.
• 모든 빈도 높은 항목집합을 추론할 수 있는 최소 집합으로서의 유도 불가능한 빈도 높은 항목집합(NDIs)의 개념을 도입한다.
• 모든 NDI 집합에 포함되지 않은 빈도 높은 항목집합의 정확한 지지도 값을 유도하기 위해 재귀적 추론 메커니즘을 활용한다.
• 계산 비용과 표현 크기의 균형을 맞추기 위해 규칙 적용 깊이를 지정된 수준(예: 깊이 1 또는 2)까지 제한하며, 전체 깊이에서 완전성이 보장된다.
• MAXMINER와 PASCAL에서 알려진 최적화 기법들을 프레임워크에 통합하여, 이들이 제안된 규칙의 특수한 경우임을 보여준다.

실험 결과

연구 질문

• RQ1 후보 항목집합의 지지도 범위를 부분집합 지지도로부터 추론할 수 있는 완전하고 타당한 추론 규칙 집합을 정의할 수 있는가?
• RQ2 이 규칙들은 어떻게 모든 빈도 높은 항목집합의 최소화되고 손실이 없는 표현을 구성하는 데 사용될 수 있는가?
• RQ3 실제 생활 데이터셋에서, 간결한 NDI 표현을 먼저 채굴하고 지지도를 추론하는 방식이 기존의 빈도 높은 항목집합 채굴 방식보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 추론 규칙은 기존의 간결한 표현 방식(예: 닫힌 집합, 자유 집합, 논리합 없는 집합 등)과 어떻게 관련이 있는가?
• RQ5 직접 데이터베이스 스캔을 사용하는 것에 비해 추론 기반 지지도 유도 방식이 얼마나 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 추론 규칙는 타당성과 완전성을 모두 확보하여 부분집합 지지도 기반으로 모든 후보 항목집합의 정확한 지지도 추론이 가능하다.
• 유도 불가능한 빈도 높은 항목집합(NDIs)의 집합은 모든 빈도 높은 항목집합을 최소화하고 손실이 없는 표현으로 구성하며, 결과 크기를 크게 줄인다.
• 실험 결과, 먼저 NDI 표현을 채굴하고 나서 전체 지지도를 추론하는 방식이 많은 실제 데이터셋에서 기존의 빈도 높은 항목집합 채굴 알고리즘을 뛰어넘는 성능을 보였다.
• 심지어 깊이 1 또는 2까지의 규칙만 사용하더라도 성능이 최적에 가까운 수준에 도달하여, 더 깊은 규칙 적용에서의 이점이 제한적임을 시사한다.
• 이 프레임워크는 이전의 접근 방식인 PASCAL과 MAXMINER를 통합하고 일반화하며, 이들이 제안된 규칙 체계의 특수한 경우임을 보여준다.
• 이론적 분석을 통해 NDIs는 논리합 없는 집합의 진부분집합임을 확인하였으며, 닫힌 항목집합은 항상 자유 집합의 크기와 같거나 더 작다는 것을 입증하였다.