[논문 리뷰] DartMinHash: Fast Sketching for Weighted Sets

Tobias Christiani|arXiv (Cornell University)|2020. 05. 23.

Video Analysis and Summarization참고 문헌 29인용 수 5

한 줄 요약

DartMinHash는 가중치가 부여된 최소 해싱을 빠르게 계산하기 위한 새로운 알고리즘을 제안한다. 이 알고리즘은 기대 시간 복잡도 O(k log k + ||x||₀ log(||x||₁ + 1/||x||₁)) 내에 k개의 독립적인 최소 해싱을 계산하며, 기존의 BagMinhash 및 FastICWS와 비교해 뚜렷한 성능 향상을 보인다. 일반적인 워크로드에서 최대 30배의 속도 향상을 기록하며, 특히 k와 ||x||₀가 크고 희소성 있는 데이터에서 뛰어난 성능을 발휘한다. 또한 일정 가중치 집합에 대해 이론적으로 최적의 성능을 유지한다.

ABSTRACT

Weighted minwise hashing is a standard dimensionality reduction technique with applications to similarity search and large-scale kernel machines. We introduce a simple algorithm that takes a weighted set $x \in \mathbb{R}_{\geq 0}^{d}$ and computes $k$ independent minhashes in expected time $O(k \log k + \Vert x \Vert_{0}\log( \Vert x \Vert_1 + 1/\Vert x \Vert_1))$, improving upon the state-of-the-art BagMinHash algorithm (KDD '18) and representing the fastest weighted minhash algorithm for sparse data. Our experiments show running times that scale better with $k$ and $\Vert x \Vert_0$ compared to ICWS (ICDM '10) and BagMinhash, obtaining $10$x speedups in common use cases. Our approach also gives rise to a technique for computing fully independent locality-sensitive hash values for $(L, K)$-parameterized approximate near neighbor search under weighted Jaccard similarity in optimal expected time $O(LK + \Vert x \Vert_0)$, improving on prior work even in the case of unweighted sets.

연구 동기 및 목표

• 유사도 검색 및 대규모 커널 머신에서 가중치가 부여된 집합에 대해 독립적인 최소 해싱을 계산할 때 발생하는 성능 저하 문제를 해결하기 위해.
• 스케치 기반 원리로서, 가중치가 부여된 집합에 대해 첫 번째 t개의 'dart'가 충돌하는 것을 효율적으로 복구할 수 있도록 하여, 더 빠른 국소성에 민감한 해싱(LSH) 및 최소 해싱 계산을 가능하게 하기 위해.
• BagMinhash 및 FastICWS와 같은 기존 알고리즘을 개선하여, 특히 큰 k와 ||x||₁ = 1인 희소 데이터에서 실행 시간을 줄이기 위해.
• 가중치가 부여된 재해상 유사도 하에 (L,K)-파라미터화된 근사 근접 이웃 검색에서 최적의 기대 시간 복잡도 O(LK + ||x||₀)를 달성하기 위해.

제안 방법

• 알고리즘은 던지기 모델을 사용하며, 던지기(dart)들이 [0,M]^d 영역에서 균일하게 샘플링되고, 첫 번째로 집합 x에 충돌하는 던지기가 최소 해싱 값을 결정한다.
• 희소성에 영향을 받지 않는 O(t + ||x||₀ log(||x||₁ + 1/||x||₁)) 기대 시간 내에 첫 번째 t개의 던지기가 x에 충돌하는 것을 효율적으로 검색하기 위해 새로운 데이터 구조와 샘플링 전략을 도입한다.
• 기각 샘플링(rejection sampling)을 피하기 위해 우선순위 큐와 가중치가 부여된 랜덤 샘플링을 활용하여, ||x||₁이 낮은 희소 데이터에서 느린 성능을 방지한다.
• 결정적이고 효율적인 샘플링 메커니즘을 통해 독립적인 랜덤 수열을 시뮬레이션함으로써 완전히 독립적인 최소 해싱 계산을 지원한다.
• 상수 가중치 집합에 대해 최적화되어 있으며, ||x||₁ = Θ(1)일 때 O(t + ||x||₀)인 하한값과 일치한다.
• 가중치가 부여된 재해상 유사도 하에 (L,K)-파라미터화된 LSH를 빠르게 수행할 수 있도록 하며, 최적의 O(LK + ||x||₀) 기대 시간 복잡도를 제공한다.

실험 결과

연구 질문

• RQ1 기존의 BagMinhash 및 FastICWS와 같은 방법보다 가중치가 부여된 집합에 대해 k개의 독립적인 최소 해싱을 더 빠르게 계산할 수 있는가?
• RQ2 가중치가 부여된 최소 해싱에 대해 기대 시간 복잡도 O(k log k + ||x||₀ log(||x||₁ + 1/||x||₁))를 달성할 수 있는가?
• RQ3 ||x||₁ 값이 매우 작거나 매우 클 경우 알고리즘이 어떻게 동작하는가?
• RQ4 알고리즘이 가중치가 부여된 재해상 유사도 하에 (L,K)-파라미터화된 근사 근접 이웃 검색을 가속화하는 데 사용될 수 있는가?
• RQ5 알고리즘이 다양한 데이터 희소성 및 스케치 길이 설정에서 높은 성능을 유지하는가?

주요 결과

• k = ||x||₀ = 4096 및 ||x||₁ = 1일 때, DartMinHash는 2위 알고리즘인 BagMinhash보다 최대 30배 빠르게 작동한다.
• 일반적인 워크로드에서 ||x||₁ = 1일 때, DartMinHash는 FastICWS보다 평균 10배 빠르며, BagMinhash보다 15배 빠르다.
• ||x||₁이 극단적인 경우(예: 2^±64)에도 k = 256 및 ||x||₀ = 1024일 때 DartMinHash는 여전히 10배의 속도 향상을 유지하지만, ||x||₁ = 2^±512일 경우 성능이 저하된다.
• ||x||₁ ∈ [2^-32, 2^32] 범위 내에서는 DartMinHash가 FastICWS 및 BagMinhash보다 뚜렷한 속도 향상을 유지하며, 일반적인 실세계의 가중치 범위에서 성능이 안정적이다.
• ||x||₁이 매우 작거나 매우 클 경우(예: 2^-512 또는 2^512), FastICWS가 DartMinHash보다 6~7배 빠르며, 이는 극단적인 가중치 값에 민감한 성능 특성을 보임을 시사한다.
• 가중치가 부여된 재해상 유사도 하에 (L,K)-파라미터화된 LSH에 대해 최적의 기대 시간 복잡도 O(LK + ||x||₀)를 달성하며, 이는 비가중치 집합에 대해서도 이전 연구를 초월한다.