[논문 리뷰] Optimal Densification for Fast and Accurate Minwise Hashing

Anshumali Shrivastava|arXiv (Cornell University)|2017. 03. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 24인용 수 27

한 줄 요약

이 논문은 기존의 minwise 해싱의 분산과 충돌 확률을 유지하면서도 계산 비용을 $O(d + k)$로 낮춘 최적의 조밀화 기법을 제안한다. 이는 특히 희소 데이터에서 이전의 조밀화 방법보다 정확도를 크게 향상시킨다. 방법은 정밀하게 설계된 2-유일성 해시 함수를 사용하여 분산 편향을 제거한다.

ABSTRACT

Minwise hashing is a fundamental and one of the most successful hashing algorithm in the literature. Recent advances based on the idea of densification~\cite{Proc:OneHashLSH_ICML14,Proc:Shrivastava_UAI14} have shown that it is possible to compute $k$ minwise hashes, of a vector with $d$ nonzeros, in mere $(d + k)$ computations, a significant improvement over the classical $O(dk)$. These advances have led to an algorithmic improvement in the query complexity of traditional indexing algorithms based on minwise hashing. Unfortunately, the variance of the current densification techniques is unnecessarily high, which leads to significantly poor accuracy compared to vanilla minwise hashing, especially when the data is sparse. In this paper, we provide a novel densification scheme which relies on carefully tailored 2-universal hashes. We show that the proposed scheme is variance-optimal, and without losing the runtime efficiency, it is significantly more accurate than existing densification techniques. As a result, we obtain a significantly efficient hashing scheme which has the same variance and collision probability as minwise hashing. Experimental evaluations on real sparse and high-dimensional datasets validate our claims. We believe that given the significant advantages, our method will replace minwise hashing implementations in practice.

연구 동기 및 목표

• 기존의 minwise 해싱 조밀화 기법들이 빠른 런타임을 제공하더라도 정확도를 떨어뜨리는 높은 분산 문제를 해결하기 위해.
• 기존의 minwise 해싱과 동일한 이론적 분산을 가지면서도 계산 효율성을 유지하는 조밀화 기법을 개발하기 위해.
• 조밀화된 스케치에서 발생하는 분산으로 인한 정확도 저하를 제거하여 minwise 해싱을 대규모 시스템에 실용적으로 구현할 수 있도록 하기 위해.
• 제안된 방법이 다양한 희소 고차원 데이터셋에서 분산 최적 성능을 달성하는지 검증하기 위해.

제안 방법

• 2-유일성 해시 함수를 사용하여 분산 최적성을 보장하는 새로운 조밀화 기법을 도입한다.
• 각 해시를 비제로 요소를 한 번 순회하는 방식으로 $O(d + k)$ 시간 내에 계산하는 수정된 one-permutation 해싱 프레임워크를 활용한다.
• 실제 결과와 일치하는 이론적 분산 공식(식 19)을 유도하여, 이 기법이 분산 최적임을 증명한다.
• 비용이 많이 드는 순열과 모듈로 연산을 피하는 랜덤화된 해싱 전략을 적용하여 고속 계산을 가능하게 한다.
• 최소한의 편향과 Jaccard 유사도와 동일한 최적의 충돌 확률을 갖는 $k$개의 minwise 해시를 생성하기 위해 방법을 적용한다.
• 두 단계 해싱 과정을 적용한다: 첫 번째로 기저 해시가 비제로 인덱스를 매핑하고, 두 번째로 보조 해시가 바인에 균일하게 분포시키도록 한다.

실험 결과

연구 질문

• RQ1 기존의 minwise 해싱과 동일한 분산을 달성하면서도 $O(d + k)$ 런타임을 유지할 수 있는 조밀화 기법을 설계할 수 있는가?
• RQ2 제안된 방법은 특히 희소 데이터에서 기존의 조밀화 기법들보다 분산을 크게 감소시키는가?
• RQ3 제안된 기법의 이론적 분산이 실제 세계 데이터셋에서 경험적으로 검증될 수 있는가?
• RQ4 제안된 방법은 기존의 minwise 해싱보다 빠르고, 이전의 조밀화 방법보다 더 정확한가?

주요 결과

• 제안된 최적의 조밀화 기법은 기존의 minwise 해싱과 구분할 수 없을 정도로 동일한 분산을 달성하며, MSE 값이 이론적 한계 $\frac{R(1-R)}{k}$ 와 일치한다.
• RCV1 및 News20과 같은 희소 데이터셋에서, $k = 2^{14}$일 때 기존의 조밀화 기법들보다 MSE를 최대 2~3개의 지수 단위로 감소시킨다.
• 이 방법은 $O(d + k)$ 런타임을 유지하여 실제 데이터셋에서 $k = 300$일 때 기존의 minwise 해싱보다 10~18배 빠르게 작동한다.
• 이론적 분산 예측값이 경험적 추정값과 매우 유사하여 유도된 분산 공식(식 19)의 정확성을 검증한다.
• 기존의 조밀화 기법들은 $k$가 증가함에 따라 감소하지 않는 비영임의의 최종 분산을 보이며, 이는 그들의 비최적성임을 확인한다.
• 최적의 조밀화를 통해 one-permutation 해싱에서의 빈 바인 수가 크게 감소하며, $k = 300$일 때 90% 이상의 바인이 채워져 있어 효과적인 색인과 커널 학습이 가능해진다.