[논문 리뷰] SuperMinHash - A New Minwise Hashing Algorithm for Jaccard Similarity Estimation

Otmar Ertl|arXiv (Cornell University)|2017. 06. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 9인용 수 12

한 줄 요약

이 논문은 Jaccard 유사도 추정의 분산을 줄이고 런타임 효율성을 향상시키기 위해 MinHash를 개선한 새로운 minwise 해싱 알고리즘인 SuperMinHash를 소개한다. 계수화된 균일성으로 파arameterized된 계층적 해싱 구조를 활용함으로써 SuperMinHash는 Jaccard 유사도 추정에서 더 낮은 분산을 달성하면서도 선형 패assing 성능을 유지하며, 대규모 세트 유사도 작업에서 정밀도와 확장성 측면에서 MinHash 및 이전 대안들보다 뛰어나다.

ABSTRACT

This paper presents a new algorithm for calculating hash signatures of sets which can be directly used for Jaccard similarity estimation. The new approach is an improvement over the MinHash algorithm, because it has a better runtime behavior and the resulting signatures allow a more precise estimation of the Jaccard index.

연구 동기 및 목표

• Jaccard 유사도 추정에서 추정기 분산과 계산 효율성 측면에서 MinHash 및 기존 minwise 해싱 방법의 한계를 해결하기 위해.
• 특히 소형 및 중형 세트에서 낮은 분산과 높은 정밀도를 유지하는 스트리밍 친화적 알고리즘을 개발하기 위해.
• MinHash와 one-permutation 해싱의 분산 이하로 Jaccard 지수 추정기의 분산을 줄이되, 단일 패assing 처리 능력을 유지하기 위해.
• 합집합 연산을 위한 효율적인 서명 계산과 병합을 가능하게 하여 밀도화된 해싱 기법의 한계를 극복하기 위해.

제안 방법

• SuperMinHash는 각 해시 값이 범위 값에 대한 균일 분포에서 유도되며, 균일성 파라미터 u로 파arameterized된 계층적 해싱 구조를 사용한다.
• 알고리즘은 균일 분포를 갖는 무작위 값 집합에서 최소 해시 값을 선택하여 서명 값을 계산하며, Jaccard 추정기의 분산을 줄이기 위해 분포를 조정한다.
• 서로 다른 해시 위치 간 공분산을 최소화하면서도 세트 간 서명 값이 일치할 확률이 Jaccard 지수와 일치하도록 보장하는 해시 함수의 재귀적 구성 방식을 채택한다.
• 구간에 대한 수정된 균일 분포를 사용하여 충돌 확률을 제어함으로써, 서명 크기 m과 균일성 파라미터 u에 대한 함수인 α(m,u)에 의존하는 분산 공식을 도출한다.
• 대규모 또는 메모리 내 데이터 세트의 효율적 처리를 가능하게 하기 위해 단일 패assing 스트리밍 알고리즘으로 설계되어 있다.
• 모든 서명 위치가 결정적으로 계산되도록 하여 밀도화 문제를 피하고, 추정기 편향을 유지하며 서명 간 합집합 연산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 같은 서명 크기 m에서 MinHash보다 Jaccard 유사도 추정의 분산이 더 낮고 선형 시간 복잡도를 유지하는 minwise 해싱 알고리즘을 설계할 수 있는가?
• RQ2 다양한 데이터 세트 크기에서 SuperMinHash의 Jaccard 추정기 분산이 MinHash 및 one-permutation 해싱과 비교해 어떻게 되는가?
• RQ3 밀도화된 서명의 정밀도 손실을 피하면서도 저비용 계산을 유지하는 단일 패assing 스트리밍 알고리즘을 구축할 수 있는가?
• RQ4 주어진 서명 크기 m에서 추정기 분산을 최소화하기 위한 균일성 파라미터 u의 최적 파라미터화는 무엇인가?

주요 결과

• SuperMinHash에서 Jaccard 지수 추정기의 분산은 같은 서명 크기 m에서 MinHash보다 엄격히 낮으며, 이는 1보다 작은 α(m,u)라는 분산 인자 덕분이다.
• SuperMinHash의 추정기 분산은 Var(Ĵ) = J(1−J)/m × α(m,u)로 주어지며, 여기서 α(m,u) < 1 이므로 MinHash의 분산 J(1−J)/m보다 엄격히 향상됨을 증명한다.
• |D| ≪ m 인 소형 데이터 세트에서는 SuperMinHash가 밀도화된 one-permutation 해싱보다 더 높은 정밀도를 유지한다. 이는 밀도화된 해싱이 제곱 시간 복잡도와 정확도 저하 문제를 야기하기 때문이다.
• 알고리즘은 O(n + m log²m)의 런타임 복잡도를 달성하며, 큰 m에 대해서는 MinHash의 O(mn)보다 훨씬 우수하고, 소형 데이터 세트에 대해서도 경쟁력이 있다.
• 밀도화된 해싱 기법과 달리 SuperMinHash 서명은 직접 병합되어 합집합 세트의 서명을 계산할 수 있으며, 추정기 성질을 유지한다.
• 이 방법은 증명된 바 없이도 편향이 없으며, P(hj(A) = hj(B)) = J라는 핵심 성질을 유지함으로써 추정기가 유효하고 일관되게 유지된다.