[논문 리뷰] Frequent Item-set Mining without Ubiquitous Items

Ran M. Bittmann, Philippe Nemery외 3명|arXiv (Cornell University)|2018. 03. 29.

Data Mining Algorithms and Applications참고 문헌 1인용 수 3

한 줄 요약

이 논문은 거의 모든 거래에서 나타나는 유비쿼터스 아이템(유비쿼터스 아이템)으로 인해 발생하는 성능 저하 및 수렴 문제를 완화하는 새로운 접근법을 제안한다. 이러한 아이템을 마이닝 이전에 필터링함으로써 계산 효율성이 크게 향상되며, 결과의 의미성에 미치는 영향은 최소화되어 의미 있는 규칙 탐색을 희생시키지 않은 채 더 빠르고 확장 가능한 FIM을 가능하게 한다.

ABSTRACT

Frequent Item-set Mining (FIM), sometimes called Market Basket Analysis (MBA) or Association Rule Learning (ARL), are Machine Learning (ML) methods for creating rules from datasets of transactions of items. Most methods identify items likely to appear together in a transaction based on the support (i.e. a minimum number of relative co-occurrence of the items) for that hypothesis. Although this is a good indicator to measure the relevance of the assumption that these items are likely to appear together, the phenomenon of very frequent items, referred to as ubiquitous items, is not addressed in most algorithms. Ubiquitous items have the same entropy as infrequent items, and not contributing significantly to the knowledge. On the other hand, they have strong effect on the performance of the algorithms and sometimes preventing the convergence of the FIM algorithms and thus the provision of meaningful results. This paper discusses the phenomenon of ubiquitous items and demonstrates how ignoring these has a dramatic effect on the computation performances but with a low and controlled effect on the significance of the results.

연구 동기 및 목표

• 거의 모든 거래에서 나타나는 유비쿼터스 아이템으로 인해 발생하는 기존 FIM 알고리즘의 성능 저하 문제를 해결한다.
• 유비쿼터스 아이템으로 인한 계산 오버헤드를 줄이되, 마이닝된 아이템세트의 품질이나 의미성에 상당한 영향을 주지 않는다.
• 유비쿼터스 아이템이 규칙의 관련성에 기여하지 않음에도 불구하고 높은 빈도로 나타나므로, FIM 알고리즘의 수렴 속도를 높이기 위해 이를 제거한다.
• 유비쿼터스 아이템을 필터링함으로써 상당한 성능 향상이 이루어지며, 同시에 발견된 패턴의 통계적 관련성이 유지됨을 입증한다.

제안 방법

• 유비쿼터스 아이템을 총 거래 수의 정해진 기준(예: 90%) 이상을 차지하는 아이템으로 정의한다.
• 기본적인 FIM 알고리즘을 실행하기 전에 유비쿼터스로 분류된 모든 아이템을 제거함으로써 거래 데이터베이스를 사전 처리한다.
• 필터링된 데이터셋에 기존의 FIM 알고리즘(예: Apriori 또는 Eclat)을 적용하여 빈도가 높은 아이템세트를 추출한다.
• 후보 생성 단계에서 유비쿼터스 아이템을 포함한 아이템세트를 지지도 기반으로 제거한다.
• 유비쿼터스 아이템은 높은 엔트로피와 낮은 분류 능력을 지니므로 정보량이 극히 적다는 사실을 활용한다.
• 유비쿼터스 아이템 외에 높은 동시 발생 빈도와 낮은 엔트로피를 가지는 아이템만 최종 출력에 유지함으로써 결과의 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 유비쿼터스 아이템은 기존 FIM 알고리즘의 성능과 수렴에 어떤 영향을 미치는가?
• RQ2 유비쿼터스 아이템을 제거함으로써 FIM의 계산 효율성이 얼마나 향상될 수 있으며, 결과 품질에 어떤 영향을 주는가?
• RQ3 유비쿼터스 아이템은 거래 데이터 내 아이템세트의 엔트로피와 정보량에 어떤 영향을 미치는가?
• RQ4 아이템 빈도 기준 임계값을 활용한 사전 필터링 단계가 FIM의 성능 저하 요인을 효과적으로 제거할 수 있는가?
• RQ5 유비쿼터스 아이템의 배제는 마이닝된 연관 규칙의 의미성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 유비쿼터스 아이템 존재로 인해 FIM 알고리즘이 후보 생성과 메모리 사용 증가로 인해 심각한 성능 저하를 겪는다.
• 유비쿼터스 아이템을 제거함으로써 일부 데이터셋에서는 FIM 알고리즘의 런타임이 최대 80% 감소하며, 의미 있는 아이템세트의 수에 거의 영향을 주지 않는다.
• 유비쿼터스 아이템은 높은 엔트로피로 인해 정보량이 극히 낮아 규칙 생성에 부적절한 후보이다.
• 대부분의 의미 있는 아이템세트가 유비쿼터스 아이템 제거 후에도 유지되어, 방법이 높은 결과 정확성을 유지함을 확인하였다.
• 제안된 필터링 단계는 특히 아이템 빈도 분포가 비대칭인 대규모 데이터셋에서 FIM 알고리즘의 수렴 속도를 크게 향상시킨다.
• 실험 결과, 지지도가 90% 이상인 아이템을 제외함으로써 빠른 처리 속도를 확보할 수 있었으며, 원래 규칙 세트의 95%에 해당하는 관련성을 유지하였다.