[논문 리뷰] An Algorithm for Mining High Utility Closed Itemsets and Generators

Jayakrushna Sahoo, Ashok Kumar Das외 1명|arXiv (Cornell University)|2014. 10. 11.

Data Mining Algorithms and Applications참고 문헌 42인용 수 3

한 줄 요약

이 논문은 높은 유틸리티 닫힘 항목집합(HUCI)과 그들의 최소 생성자들을 동시에 추출하는 새로운 알고리즘 HUCI-Miner를 제안한다. 이는 높은 유틸리티 항목집합 탐사에서 압축되고 중복이 제거된 연관 규칙 생성을 가능하게 한다. 기존의 지지도-신뢰도 기반 탐사에서 최소 생성자 개념을 유틸리티 기반 탐사로 확장함으로써, 규칙 의미를 유지하면서도 높은 유틸리티 항목집합의 크기를 크게 압축한다.

ABSTRACT

Traditional association rule mining based on the support-confidence framework provides the objective measure of the rules that are of interest to users. However, it does not reflect the utility of the rules. To extract non-redundant association rules in support-confidence framework frequent closed itemsets and their generators play an important role. To extract non-redundant association rules among high utility itemsets, high utility closed itemsets (HUCI) and their generators should be extracted in order to apply traditional support-confidence framework. However, no efficient method exists at present for mining HUCIs with their generators. This paper addresses this issue. A post-processing algorithm, called the HUCI-Miner, is proposed to mine HUCIs with their generators. The proposed algorithm is implemented using both synthetic and real datasets.

연구 동기 및 목표

• 높은 유틸리티 닫힘 항목집합(HUCI)과 그들의 생성자를 동시에 효율적으로 탐색할 수 있는 방법의 부족을 해결하기 위해.
• 최소 생성자 개념을 통합함으로써 높은 유틸리티 항목집합 탐사에서 압축되고 중복이 제거된 연관 규칙 탐색을 가능하게 하기 위해.
• 높은 유틸리티 항목집합과 관련된 규칙 집합의 크기를 줄이되, 의미적 및 통계적 관련성을 유지하기 위해.
• 기존의 지지도-신뢰도 기반 규칙 생성을 높은 유틸리티 패tern에 적용할 수 있도록 하는 후처리 프레임워크를 제공하기 위해.
• 다양한 유틸리티 임계값을 가진 합성 및 실세계 데이터셋에서 HUCI-Miner의 효과성을 입증하기 위해.

제안 방법

• 일괄 처리를 통해 높은 유틸리티 항목집합(HUI), 높은 유틸리티 닫힘 항목집합(HUCI), 그리고 그들의 최소 생성자(HG)를 동시에 탐색하는 레벨 기반 탐색 알고리즘인 HUCI-Miner를 제안한다.
• 유틸리티 유닛 배열을 사용하여 HUCI에서 모든 HUI를 재구성함으로써, 전체 데이터베이스 스캔 없이도 효율적인 규칙 생성을 가능하게 한다.
• 높은 유틸리티 탐색에서 최소 생성자의 개념을 도입한다. 여기서 생성자는 닫힘 항목집합을 유일하게 생성하는 최소 항목집합을 의미한다.
• 항목집합의 유틸리티가 그의 초집합과 동일한지 확인하는 클로처 기반 접근법을 적용하여 HUCI를 식별한다.
• 부분집합 유틸리티 비교를 통해 최소성을 검증함으로써 HUCI에서 생성자를 추출하는 후처리 단계를 구현한다.
• 높은 유틸리티 항목집합을 메인 메모리에 저장하여 처리 속도를 향상시키고 성능을 개선한다.

실험 결과

연구 질문

• RQ1 하나의 알고리즘 프레임워크 내에서 높은 유틸리티 닫힘 항목집합(HUCI)과 그들의 최소 생성자를 어떻게 효율적으로 탐색할 수 있는가?
• RQ2 HUCI-Miner는 전체 열거 방식에 비해 높은 유틸리티 항목집합의 수를 얼마나 압축할 수 있는가?
• RQ3 최소 생성자를 높은 유틸리티 탐색에 통합함으로써 추출된 연관 규칙의 중복을 효과적으로 줄일 수 있는가?
• RQ4 다양한 유틸리티 임계값을 가진 다양한 실세계 및 합성 데이터셋에서 HUCI-Miner의 성능은 어떻게 스케일링되는가?
• RQ5 다양한 최소 유틸리티 임계값이 탐지된 HUCI와 생성자의 수에 어떤 영향을 미치는가?

주요 결과

• HUCI-Miner는 HUCI와 그들의 생성자로 압축함으로써 높은 유틸리티 항목집합의 수를 최대 80%까지 감소시켰다.
• T10I4D100K 데이터셋에서 최소 유틸리티 0.006%일 때, HUCI-Miner는 HUI 수를 192,673개에서 111,544개의 HUCI와 28,837개의 생성자로 줄여 총 140,381개의 압축 패턴을 생성했다.
• 밀도가 높은 체스 데이터셋에서 최소 유틸리티 25%일 때, HUCI-Miner는 HUI 수를 13,331개에서 8,700개의 HUCI와 3,811개의 생성자로 줄여 34.5%의 감소를 이뤘다.
• 리테일 데이터셋에서는 모든 HUI가 닫힘 상태였고(100% 닫힘 비율), 최소 유틸리티 0.02%일 때 오직 2개의 생성자만 발견되어 압축 효율성이 매우 높음을 보였다.
• 체인 스토어 데이터셋은 모든 임계값에서 100% 닫힘 비율을 보였고, 비자기 생성자(non-self-generators)는 발견되지 않아 모든 HUCI가 최대임을 시사했다.
• HUCI와 HG의 수가 최소 유틸리티 임계값 증가에 따라 예측 가능하게 증가함을 보여, HUCI-Miner는 체인 스토어(110만 건의 트랜잭션)와 같은 대규모 데이터셋에서도 확장 가능성을 입증했다.