[논문 리뷰] A Frequent Closed Itemsets Lattice-based Approach for Mining Minimal Non-Redundant Association Rules

Bay Vo, Bac Le|arXiv (Cornell University)|2011. 08. 26.

Data Mining Algorithms and Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 빈도 높은 닫힘 항목집합(FCI)을 사용하는 격자 기반 접근법을 제안하여 최소 비중복 연관 규칙(MNAR)을 효율적으로 추출한다. CHARM-L 알고리즘을 활용해 빈도 높은 닫힘 항목집합 격자(FCIL)를 구성함으로써 규칙 생성 속도를 향상시키며, 기존의 빈도 높은 항목집합 격자 기반 접근법에 비해 계산 시간을 크게 감소시킨다. 실험 결과는 빠른 속도 향상을 입증한다.

ABSTRACT

There are many algorithms developed for improvement the time of mining frequent itemsets (FI) or frequent closed itemsets (FCI). However, the algorithms which deal with the time of generating association rules were not put in deep research. In reality, in case of a database containing many FI/FCI (from ten thousands up to millions), the time of generating association rules is much larger than that of mining FI/FCI. Therefore, this paper presents an application of frequent closed itemsets lattice (FCIL) for mining minimal non-redundant association rules (MNAR) to reduce a lot of time for generating rules. Firstly, we use CHARM-L for building FCIL. After that, based on FCIL, an algorithm for fast generating MNAR will be proposed. Experimental results show that the proposed algorithm is much faster than frequent itemsets lattice-based algorithm in the mining time.

연구 동기 및 목표

• 연관 규칙 생성의 성능 저하 문제를 해결하기 위해, 이는 흔히 빈도 높은 항목집합(FI) 또는 빈도 높은 닫힘 항목집합(FCI)을 추출하는 데 소요되는 시간을 초과하는 경우가 많다.
• 최소 비중복 규칙(MNAR)에 초점을 맞춤으로써 연관 규칙의 중복을 줄이기 위해, 더 의미 있고 해석하기 쉬운 규칙를 제공한다.
• FCIL의 구조적 특성을 활용하여 최소 비중복 연관 규칙(MNAR)을 신속하게 생성하는 격자 기반 알고리즘을 개발한다.
• 수십만에서 수백만 개의 빈도 높은 닫힘 항목집합을 포함한 대규모 데이터베이스에서의 확장성과 효율성을 향상시킨다.

제안 방법

• CHAIR-L 알고리즘을 사용하여 모든 빈도 높은 닫힘 항목집합과 그 포함 관계를 표현하는 빈도 높은 닫힘 항목집합 격자(FCIL)를 구성한다.
• 격자 구조를 활용해 중복 유도 없이 체계적으로 연관 규칙를 탐색하고 생성한다.
• 격자 기반의 잘라내기 전략을 적용하여, 더 강력하고 더 구체적인 규칙에 의해 암시되지 않는 최소 규칙만 유지함으로써 중복 규칙을 제거한다.
• FCIL의 계층적 및 닫힘 기반 성질을 활용하여 포괄적인 규칙 탐색을 피하고 계산 오버헤드를 줄인다.
• 규칙의 지지도 및 신뢰도 임계값에 따라 상향 또는 하향 방식으로 FCIL을 순회하는 규칙 생성 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 빈도 높은 닫힘 항목집합의 큰 집합을 다룰 때 연관 규칙 생성의 시간 복잡도를 어떻게 줄일 수 있는가?
• RQ2 빈도 높은 닫힘 항목집합 격자(FCIL)의 어떤 구조적 특성을 활용하여 중복 연관 규칙를 제거할 수 있는가?
• RQ3 격자 기반 접근법이 최소 비중복 규칙에 대해 기존의 빈도 높은 항목집합 격자 기반 방법에 비해 규칙 생성 속도에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 FCIL의 사용이 대규모 데이터베이스에서 최소 비중복 연관 규칙를 추출할 때 확장성에 얼마나 기여하는가?

주요 결과

• 제안된 최소 비중복 연관 규칙(MNAR) 추출을 위한 격자 기반 방법은 기존의 빈도 높은 항목집합 격자 기반 접근법에 비해 규칙 생성 시간을 크게 감소시킨다.
• FCIL 구조의 사용은 효율적인 탐색과 잘라내기를 가능하게 하여 중복 규칙를 제거하면서도 규칙의 완전성을 유지한다.
• 실험 결과, 제안된 알고리즘이 빈도 높은 닫힘 항목집합의 수가 많은 데이터셋에서 더 빠른 마이닝 성능을 달성함을 입증한다.
• 이 방법은 대규모 데이터베이스에 효과적으로 적용되며, 수십만에서 수백만 개의 빈도 높은 닫힘 항목집합을 포함한 데이터셋을 효율적으로 처리할 수 있다.