[논문 리뷰] Mining Frequent Itemsets over Uncertain Databases

Yongxin Tong, Lei Chen외 2명|arXiv (Cornell University)|2012. 08. 01.

Data Mining Algorithms and Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 불확실한 데이터베이스에서 빈번한 아이템세트를 탐지하는 알고리즘에 대한 종합적인 실험적 비교를 제공하며, 예상 지지도 기반 정의와 확률적 빈번한 아이템세트 정의 간의 관계를 명확히 한다. 대규모 데이터베이스에서 이러한 정의들은 라플라스 중심극한정리에 의해 밀접하게 연결되어 있으며, 정규분포를 이용한 효율적 근사가 가능하다는 것을 보여주며, 근사 기반 알고리즘이 정확한 방법에 비해 속도와 메모리 효율성 면에서 뛰어나다는 것을 입증한다.

ABSTRACT

In recent years, due to the wide applications of uncertain data, mining frequent itemsets over uncertain databases has attracted much attention. In uncertain databases, the support of an itemset is a random variable instead of a fixed occurrence counting of this itemset. Thus, unlike the corresponding problem in deterministic databases where the frequent itemset has a unique definition, the frequent itemset under uncertain environments has two different definitions so far. The first definition, referred as the expected support-based frequent itemset, employs the expectation of the support of an itemset to measure whether this itemset is frequent. The second definition, referred as the probabilistic frequent itemset, uses the probability of the support of an itemset to measure its frequency. Thus, existing work on mining frequent itemsets over uncertain databases is divided into two different groups and no study is conducted to comprehensively compare the two different definitions. In addition, since no uniform experimental platform exists, current solutions for the same definition even generate inconsistent results. In this paper, we firstly aim to clarify the relationship between the two different definitions. Through extensive experiments, we verify that the two definitions have a tight connection and can be unified together when the size of data is large enough. Secondly, we provide baseline implementations of eight existing representative algorithms and test their performances with uniform measures fairly. Finally, according to the fair tests over many different benchmark data sets, we clarify several existing inconsistent conclusions and discuss some new findings.

연구 동기 및 목표

• 불확실한 데이터베이스에서 존재하는 두 정의—예상 지지도 기반 빈번한 아이템세트와 확률적 빈번한 아이템세트 간의 이론적 및 실험적 관계를 명확히 하는 것.
• 일致한 실험 조건 하에서 여덟 가지 대표적인 알고리즘에 대한 공정하고 통일된 성능 평가를 제공하는 것.
• 다양한 벤치마크 데이터세트를 사용하여 표준화된 메트릭을 적용해 이전 문헌의 모순을 해결하는 것.
• 정확한 알고리즘과 근사 알고리즘 간의 새로운 성능 패턴과 효율성 트레이드오프를 식별하고 검증하는 것.

제안 방법

• 예상 지지도 기반 및 확률적 빈번한 아이템세트 탐지에 대한 여덟 가지 대표 알고리즘의 기초 구현을 제안한다.
• 여러 벤치마크 데이터세트를 통해 일관된 평가 메트릭(실행 시간, 메모리 사용량)을 적용하여 공정한 비교를 수행한다.
• 대규모 데이터베이스에서 아이템세트 지지도의 포isson 이항분포를 정규분포로 근사할 수 있음을 라플라스 중심극한정리를 통해 정당화한다.
• 정확한 확률적 알고리즘에서 빈도가 낮은 아이템세트를 조기에 걸러내기 위해 체르노프 경계를 적용하여 효율성을 향상시킨다.
• 예상 지지도와 분산 기반으로 누적분포함수(CDF) 근사를 통해 빈번한 확률을 계산한다.
• 다양한 밀도와 최소 지지도 임계값을 가진 합성 및 실세계 불확실한 데이터베이스를 대상으로 광범위한 실험을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 불확실한 데이터베이스에서 예상 지지도 기반 빈번한 아이템세트 정의와 확률적 빈번한 아이템세트 정의는 어떻게 관련되어 있는가?
• RQ2 기존 알고리즘이 다양한 데이터세트와 설정에서 일관된 성능 순위를 보이는가?
• RQ3 정규분포 기반 근사를 사용하여 확률적 빈번한 아이템세트 탐지 문제를 효율적으로 해결할 수 있는가?
• RQ4 속도와 메모리 사용량 측면에서 정확한 알고리즘과 근사 알고리즘 간의 상대적 성능 트레이드오프는 어떠한가?
• RQ5 어떤 조건에서 근사 알고리즘이 거의 완벽한 정확도를 달성하며, 그 이유는 무엇인가?

주요 결과

• 10,000개 이상의 트랜잭션을 초과할 경우, 예상 지지도 기반 빈번한 아이템세트 정의와 확률적 빈번한 아이템세트 정의는 밀접하게 연결되어 있으며, 정규분포 근사를 적용할 수 있다.
• 근사 기반 확률적 빈번한 아이템세트 탐지 알고리즘은 대규모 데이터베이스에서 대부분의 아이템세트에 대해 거의 100%의 빈번한 확률(≈1)을 달성하여 이론적 근사가 검증된다.
• 정규분포 기반 알고리즘은 포아송 기반 알고리즘에 비해 속도와 메모리 효율성 면에서 뚜렷이 뛰어나다.
• 예상 지지도 기반 탐지의 경우, 밀도가 높고 최소 지지도가 높은 데이터베이스에서는 UApriori가 가장 빠르며, 희박하거나 최소 지지도가 낮은 설정에서는 UH-Mine가 뛰어나다.
• 정확한 확률적 알고리즘 중에서는 대부분의 경우 DC가 가장 빠르지만, 재귀적 결과 저장으로 인해 높은 메모리 비용을 유발한다. 조건이 허락할 경우 DP는 DC보다 빠르다.
• 근사 알고리즘은 항상 정확한 알고리즘에 비해 효율성과 메모리 사용량 면에서 뛰어나며, 이는 기존의 예상 지지도 기반 솔루션을 분산 계산을 통해 확률적 탐지로 확장할 수 있음을 시사한다.