[논문 리뷰] Consistent Weighted Sampling Made Fast, Small, and Easy

Bernhard Haeupler, Mark S. Manasse외 1명|arXiv (Cornell University)|2014. 10. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 27

한 줄 요약

이 논문은 무작위 반올림을 통해 조정 가능한 크기의 무중량 집합으로 가중 집합을 축소함으로써 가중 Jaccard 유사도 추정을 빠르고 컴act하며 정확하게 수행하는 방법을 제시한다. 이 방법은 요소당 일정 수의 해시 평가만으로 근사적으로 독립적인 샘플을 한 번에 계산할 수 있게 하여 기존 방법 대비 최대 두 자릿수의 속도 향상을 달성하며, 편향은 거의 없고 정확도 손실도 최소화된다.

ABSTRACT

Document sketching using Jaccard similarity has been a workable effective technique in reducing near-duplicates in Web page and image search results, and has also proven useful in file system synchronization, compression and learning applications. Min-wise sampling can be used to derive an unbiased estimator for Jaccard similarity and taking a few hundred independent consistent samples leads to compact sketches which provide good estimates of pairwise-similarity. Subsequent works extended this technique to weighted sets and show how to produce samples with only a constant number of hash evaluations for any element, independent of its weight. Another improvement by Li et al. shows how to speedup sketch computations by computing many (near-)independent samples in one shot. Unfortunately this latter improvement works only for the unweighted case. In this paper we give a simple, fast and accurate procedure which reduces weighted sets to unweighted sets with small impact on the Jaccard similarity. This leads to compact sketches consisting of many (near-)independent weighted samples which can be computed with just a small constant number of hash function evaluations per weighted element. The size of the produced unweighted set is furthermore a tunable parameter which enables us to run the unweighted scheme of Li et al. in the regime where it is most efficient. Even when the sets involved are unweighted, our approach gives a simple solution to the densification problem that other works attempted to address. Unlike previously known schemes, ours does not result in an unbiased estimator. However, we prove that the bias introduced by our reduction is negligible and that the standard deviation is comparable to the unweighted case. We also empirically evaluate our scheme and show that it gives significant gains in computational efficiency, without any measurable loss in accuracy.

연구 동기 및 목표

• 요소의 가중치에 따라 비례하여 성능이 급격히 떨어지는 기존 가중 샘플링 방법의 계산 비효율성을 해결하기 위해.
• 가중 집합에 대해 근사적으로 독립적인 샘플을 한 번에 신속하게 계산할 수 있도록 하여 무중량 방법의 성능를 재현하기 위해.
• 가중 집합을 무중량 집합으로 축소하면서 Jaccard 유사도를 거의 편향 없이 유지하기 위해.
• 후속 스키밍에서 최적의 성능를 확보하기 위해 결과로 나오는 무중량 집합의 크기를 조절할 수 있는 조절 가능한 파라미터를 제공하기 위해.
• 고유사도 케이스에서 정확도 손실이 측정 가능하지 않게 하면서도 빠른 속도 향상을 달성할 수 있음을 보여주기 위해.

제안 방법

• 두 개 이상의 스케일을 사용한 무작위 반올림을 통해 가중 집합을 무중량 집합으로 축소함으로써 효율적인 샘플링을 가능하게 한다.
• Li 등 [17]의 one-permutation 기법을 적용하여 요소당 일정한 수의 해시 평가만으로 수백 개의 근사적으로 독립적인 샘플을 한 번의 스캔으로 계산한다.
• 결과로 나오는 무중량 집합의 크기를 제어할 수 있는 조절 가능한 파라미터를 사용하여 이후 스키밍에서의 효율성을 최적화한다.
• 사용자가 정의한 임계값 α 이하로 유사도가 떨어질 경우 유사도 추정을 건너뛰는 임계값 메커니즘을 도입하여 실용적 효율성을 향상시킨다.
• 반올림으로 인한 편향이 거의 없고, 추정 오차의 尾部 bound 가 무중량 경우와 유사함을 증명한다.
• Ioffe의 알고리즘과 무작위 반올림 방법을 대비로 실증적으로 평가하여 다양한 유사도 수준에서 절대 오차와 표준편차를 측정한다.

실험 결과

연구 질문

• RQ1 가중 Jaccard 유사도 추정을 고도로 가속화하면서도 높은 정확도를 유지할 수 있는가?
• RQ2 가중 집합을 무중량 집합으로 무작위 반올림할 경우 Jaccard 유사도 추정에 심각한 편향이 발생하는가?
• RQ3 무중량 스키밍에서의 one-permutation 샘플링 기법을 집합 축소를 통해 가중 집합에 적응시킬 수 있는가?
• RQ4 축소된 무중량 집합의 크기가 조절 가능한 방식으로 변화할 경우 계산 효율성과 추정 품질에 어떤 영향을 미치는가?
• RQ5 고유사도 상황에서 계산 속도와 추정 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 방법은 기존 가중 샘플링 방법 대비 최대 두 자릿수의 빠른 스키밍 계산 속도 향상을 달성한다.
• 고유사도 값(예: 0.96)에서 평균 절대 오차가 Ioffe의 알고리즘과 유사하며, 오차는 0.01 이하로 유지된다.
• Jaccard 유사도가 0.8에서 0.9 사이일 경우 평균 절대 오차 측면에서 Ioffe의 알고리즘보다 약간 더 우수한 성능를 보인다.
• 대부분의 유사도 수준에서 추정 오차의 표준편차가 Ioffe의 방법과 유사하거나 더 낮아 안정적인 성능를 보인다.
• 무작위 반올림으로 인한 편향은 거의 없으며, 방법은 무중량 경우와 유사한 尾部 bound 를 유지한다.
• 낮은 유사도 값(예: 0.4)에서도 절대 오차는 0.035 이하로 유지되며, 이는 평균 약 4개의 버킷 초과 오류에 해당한다.