[논문 리뷰] Finding Associations and Computing Similarity via Biased Pair Sampling

Andrea Campagna, Rasmus Pagh|IT University Of Copenhagen (IT University of Copenhagen)|2009. 10. 01.

Data Mining Algorithms and Applications참고 문헌 16인용 수 9

한 줄 요약

이 논문은 지원 차단을 적용하지 않을 경우에도 대규모 거래 데이터세트에서 유사도 계산과 연관성 탐색을 효율적으로 수행하기 위한 편향 샘플링 방법인 BiSam을 소개한다. 빈도에 기반한 아이템 쌍 샘플링과 새로운 편향 전략을 사용함으로써 BiSam은 정확한 계산 대비 빠른 속도 향상을 이룩한다—특히 거래가 크고 아이템 지원도 중간에서 높은 경우에 10배 이상의 속도 향상이 가능하며, 거짓 음성 비율도 낮게 유지한다.

ABSTRACT

This version is ***superseded*** by a full version that can be found at http://www.itu.dk/people/pagh/papers/mining-jour.pdf, which contains stronger theoretical results and fixes a mistake in the reporting of experiments. Abstract: Sampling-based methods have previously been proposed for the problem of finding interesting associations in data, even for low-support items. While these methods do not guarantee precise results, they can be vastly more efficient than approaches that rely on exact counting. However, for many similarity measures no such methods have been known. In this paper we show how a wide variety of measures can be supported by a simple biased sampling method. The method also extends to find high-confidence association rules. We demonstrate theoretically that our method is superior to exact methods when the threshold for "interesting similarity/confidence" is above the average pairwise similarity/confidence, and the average support is not too low. Our method is particularly good when transactions contain many items. We confirm in experiments on standard association mining benchmarks that this gives a significant speedup on real data sets (sometimes much larger than the theoretical guarantees). Reductions in computation time of over an order of magnitude, and significant savings in space, are observed.

연구 동기 및 목표

• 정확한 계산의 계산 병목 현상을 해결함으로써, 특히 지원 차단이 적용되지 않은 경우에도 유사도 탐색의 효율성을 높이기 위해.
• 모든 쌍의 조합을 전수 조사하지 않고도 다양한 유사도 측정법(예: 자카르드, 코사인, 리프트)과 고신뢰도 연관 규칙를 효율적으로 계산할 수 있도록 하기 위해.
• 특히 평균 거래 크기가 큰 데이터세트에서, 기반 유사도 기반 연관성 탐색의 시간 및 공간 복잡도를 줄이기 위해.
• 정확한 계산 및 LSH 기반 방법의 이론적으로 타당한 샘플링 기반 대안을 제공하고, 오차 한계를 증명 가능하게 하기 위해.
• 현대 데이터 마이닝 워크로드에서 CPU 시간이 I/O나 메모리 사용보다 더 중요한 병목 요소임을 입증하기 위해.

제안 방법

• BiSam은 공통 발생 빈도에 기반해 아이템 쌍의 우선순위를 정하는 편향 샘플링 전략을 사용하여 평가가 필요한 쌍의 수를 줄인다.
• 기준치 기반 샘플링 기법을 사용하며, 쌍은 기대 유사도나 신뢰도 비례 확률로 선택되어 잠재적으로 관심 있는 연관성을 집중적으로 분석한다.
• 통계적 샘플링을 통해 오차율을 통제하면서 유사도와 신뢰도를 추정하며, 거짓 음성 확률를 제어할 수 있다(실험에서 2% 미만).
• 자카르드, 코사인, 리프트, all_confidence 등의 다수의 유사도 측정법을 지원하며, 오버랩 계수를 통해 고신뢰도 연관 규칙로 확장할 수 있다.
• LSH나 정확한 계산과 달리, 모든 아이템 쌍 간의 전체 거래 스캔이나 서명 비교가 필요로 하지 않는다.
• 이론적 분석을 통해 BiSam이 유사도 기준 Δ가 평균 쌍별 유사도를 초과하고 지원이 너무 낮지 않은 경우 정확한 방법보다 우수하다고 밝혔다.

실험 결과

연구 질문

• RQ1 정확한 계산 없이도 자카르드, 코사인, 리프트와 같은 유사도 측정법을 편향 샘플링을 통해 효율적으로 계산할 수 있는가?
• RQ2 BiSam의 성능은 정확한 계산과 LSH 기반 방법 대비 시간, 공간, 정확도 측면에서 어떻게 비교되는가?
• RQ3 어떤 데이터 조건(예: 거래 크기, 아이템 지원)에서 BiSam이 가장 큰 속도 향상을 이룰 수 있는가?
• RQ4 BiSam은 오차 제어가 보장되는 고신뢰도 연관 규칙 탐색으로 확장될 수 있는가?
• RQ5 현대의 메모리 기반 데이터 마이닝 워크로드에서 I/O나 메모리 사용보다 CPU 시간이 더 중요한 병목 요소인가?

주요 결과

• Kosarak, Pumsb, T40I10D100K 등의 데이터세트에서 BiSam은 정확한 계산 대비 10배 이상의 속도 향상을 기록했으며, 시간 비율은 최대 36.14까지 기록되었다.
• Kosarak 데이터세트에서 BiSam은 계산 시간을 31.3억 단위에서 1.48억 단위로 줄였고(21배 속도 향상), 공간도 3310만 단위에서 479만 단위로 감소시켰다.
• DirectorActor 데이터세트에서는 평균 거래 크기가 매우 컸음에도 불구하고 아이템 지원이 낮아 속도 향상은 7.64배에 그쳤으며, 이는 지원 수준의 중요성을 확인한다.
• BiSam의 공간 사용량은 정확한 계산보다 항상 낮았으며, 다양한 데이터세트에서 공간 감소 비율은 1.17에서 7.95까지 다양했다.
• μ=15 실험에서 BiSam은 거짓 음성 확률 1.8%를 기록하여 강력한 오차 제어 능력을 입증했다.
• 특히 고유 아이템 수가 많을 경우, BiSam은 LSH 기반 방법보다 공간 효율성이 뛰어나며, 모든 해시 서명 쌍 간 비교를 피하기 때문이다.