[논문 리뷰] Improved Densification of One Permutation Hashing

Anshumali Shrivastava, Ping Li|arXiv (Cornell University)|2014. 06. 18.

Algorithms and Data Compression참고 문헌 20인용 수 15

한 줄 요약

이 논문은 한 번의 순열 해싱을 위한 증강 기법을 제안하며, 특히 매우 희박한 데이터셋에서 해시 추정기의 분산을 감소시키는 것으로 입증된 개선된 성능을 제공한다. 기존 연구와 마찬가지로 쿼리 처리 비용은 O(d + k)를 유지한다. 방법은 빈 박스가 비어 있지 않은 박스에 할당되는 방식을 재정의하여 해시 생성의 무작위성을 향상시킨다. 이는 더 정확한 유사도 추정과 근접 이웃 검색 결과를 이끈다.

ABSTRACT

The existing work on densification of one permutation hashing reduces the query processing cost of the $(K,L)$-parameterized Locality Sensitive Hashing (LSH) algorithm with minwise hashing, from $O(dKL)$ to merely $O(d + KL)$, where $d$ is the number of nonzeros of the data vector, $K$ is the number of hashes in each hash table, and $L$ is the number of hash tables. While that is a substantial improvement, our analysis reveals that the existing densification scheme is sub-optimal. In particular, there is no enough randomness in that procedure, which affects its accuracy on very sparse datasets. In this paper, we provide a new densification procedure which is provably better than the existing scheme. This improvement is more significant for very sparse datasets which are common over the web. The improved technique has the same cost of $O(d + KL)$ for query processing, thereby making it strictly preferable over the existing procedure. Experimental evaluations on public datasets, in the task of hashing based near neighbor search, support our theoretical findings.

연구 동기 및 목표

• 매우 희박한 데이터셋에서 기존의 한 번의 순열 해싱 증강 기법이 제공하는 무작위성의 열악함과 높은 분산 문제를 해결하기 위해.
• O(d + k) 쿼리 처리 비용을 유지하면서 통계적 정확도를 향상시키는 새로운 증강 절차를 설계하기 위해.
• 이전 방법 [24]에 비해 이론적으로 탄탄한 개선을 제공하기 위해, 추정기 분산을 분석하고 감소시키기 위해.
• 실제 공개 데이터셋을 활용해 이론적 개선 사항을 빛보다 유사도 추정 및 근접 이웃 검색 작업에서 실험적으로 검증하기 위해.

제안 방법

• 한 번의 순열 해싱에서 빈 박스를 가장 가까운 비어 있지 않은 박스에 할당하는 새로운 기법을 도입하며, 무작위성을 높이기 위해 확률적 할당 모델을 사용한다.
• 원형 배열에서 가장 가까운 비어 있지 않은 박스의 분포를 모델링하여 해시 값 간의 충돌 확률을 재정의한다.
• 새로운 할당 규칙 하에서 비어 있지 않은 박스와 빈 박스의 지표 변수의 기대 곱을 계산하기 위해 조합 분석을 사용한다.
• 개선된 기법 하에서 해시 지표의 곱 기대값을 계산하여, 유사도 추정기의 분산을 위한 새로운 표현식을 유도한다.
• 두 빈 박스가 같은 비어 있지 않은 박스에 할당될 확률 p를 분석하여, 새로운 방법에서는 1.5/(m+1)로 감소함을 보이며, 이는 [24]의 2/(m+1)보다 낮다. 이는 분산 감소로 이어진다.
• 전체 증강 과정이 O(d + k) 시간 내에 수행되도록 하여 계산 효율성을 유지하며, 원래 기법의 복잡도와 동일하게 유지한다.

실험 결과

연구 질문

• RQ1 기존의 [24]에서 제안한 증강 기법은 매우 희박한 데이터셋에서 정확한 유사도 추정을 위해 충분한 무작위성을 제공하는가?
• RQ2 O(d + k) 쿼리 비용을 유지하면서 해시 추정기의 분산을 감소시키는 새로운 증강 절차를 설계할 수 있는가?
• RQ3 다른 빈 박스 할당 규칙이 유사도 추정기의 분산에 미치는 이론적 영향은 무엇인가?
• RQ4 실제 희박한 데이터셋에서 [24]와 비교해 개선된 기법이 유사도 추정 및 근접 이웃 검색 정확도에서 어떻게 성능을 냈는가?
• RQ5 이론적 분석이 시사하는 것처럼, 초희박한 데이터에서 신규 기법의 분산 감소 효과가 더 두드러지는가?

주요 결과

• 제안된 증강 기법은 특히 매우 희박한 데이터셋에서 기존 방법 [24]보다 증명 가능한 낮은 분산을 달성한다.
• 분산 감소의 원인은 두 빈 박스가 같은 비어 있지 않은 박스에 할당될 확률 p가 2/(m+1)에서 1.5/(m+1)로 감소한 보다 정교한 할당 규칙 덕분이다.
• 새로운 방법은 원래 기법과 동일한 O(d + k) 쿼리 처리 비용을 유지하므로 효율성과 정확도 측면에서 엄밀히 우월하다.
• 공개 데이터셋에 대한 실험 결과는 개선된 기법이 [24]보다 둘 다 유사도 추정 및 근접 이웃 검색 작업에서 뛰어난 성능을 보임을 확인한다.
• 분산 감소 효과는 초희박한 데이터에서 가장 두드러지며, 텍스트 처리 및 중복 탐지와 같은 웹 스케일 응용 분야에서 흔한 데이터 유형이다.
• 이론적 분석은 새로운 기법이 더 균일하고 독립적인 해시 충돌을 보장함으로써 LSH 성질을 더 잘 유지함을 확인한다.