[논문 리뷰] Accurate Estimators for Improving Minwise Hashing and b-Bit Minwise Hashing

Ping Li, Arnd Christian König|arXiv (Cornell University)|2011. 08. 03.

Spam and Phishing Detection참고 문헌 17인용 수 5

한 줄 요약

이 논문은 비균형 세트 크기와 포함 관계를 고려한 3세포 다항모형을 활용하여 minwise 해싱 및 b-bit minwise 해싱에 대한 개선된 추정기들을 제안한다. 최소 해싱 충돌, 불일치, 동일값의 확률을 통합함으로써, 특히 저유사도, 고포함도 세트 쌍에서 편향과 분산을 크게 감소시켜, 다양한 유사도 영역에서 기존 추정기보다 정확도와 강인성을 높인다.

ABSTRACT

Minwise hashing is the standard technique in the context of search and databases for efficiently estimating set (e.g., high-dimensional 0/1 vector) similarities. Recently, b-bit minwise hashing was proposed which significantly improves upon the original minwise hashing in practice by storing only the lowest b bits of each hashed value, as opposed to using 64 bits. b-bit hashing is particularly effective in applications which mainly concern sets of high similarities (e.g., the resemblance >0.5). However, there are other important applications in which not just pairs of high similarities matter. For example, many learning algorithms require all pairwise similarities and it is expected that only a small fraction of the pairs are similar. Furthermore, many applications care more about containment (e.g., how much one object is contained by another object) than the resemblance. In this paper, we show that the estimators for minwise hashing and b-bit minwise hashing used in the current practice can be systematically improved and the improvements are most significant for set pairs of low resemblance and high containment.

연구 동기 및 목표

• 비균형 세트 크기와 고포함도 상황에서 표준 minwise 해싱 추정기의 열악한 성능을 해결하기 위해.
• 특히 유사도가 낮지만 포함도가 높을 경우 b-bit minwise 해싱의 추정 정확도를 향상시키기 위해.
• 충돌 확률에만 의존하는 것과는 달리, 최소 해싱 결과의 전체 다항분포를 모델링하는 원칙적인 프레임워크를 개발하기 위해.
• 동일, 왼쪽 최소, 오른쪽 최소의 세 가지 결과 유형을 모두 통합하여, 유사도 및 포함도 추정의 편향과 분산을 감소시키기 위해.
• 다양한 유사도 영역에서 기존 방법을 능가하는 통합적이고 해석 가능한 추정기를 제공하기 위해.

제안 방법

• 최소 해싱 결과 분포를 충돌 확률 P_=, S1 최소값 < S2 최소값인 경우 P_<, S1 최소값 > S2 최소값인 경우 P_>로 구성된 3세포 다항모형으로 모델링한다.
• 기하급수와 (1 - r)^{2^b} 항을 포함한 정규화 인자들을 활용하여 b-bit 최소 해싱 값의 공동 확률에 대한 정확한 폐쇄형 표현식을 유도한다.
• 관측된 b-bit 최소 해싱 값에 기반한 우도 함수를 구성하고, 이를 최대화하여 유사도와 포함도를 추정한다.
• 충돌 확률 P_=만을 사용하는 기존 추정기와는 달리, 세 가지 결과 유형을 모두 통합한 편향 보정 추정기를 제안한다.
• f1 ≠ f2 인 경우에 최적임을 입증하기 위해 3세포 모형을 활용하여 새로운 추정기를 유도하며, f2/f1 비율이 작을 경우 尤히 효과적이다.
• 표준 minwise 해싱과 b-bit minwise 해싱 양쪽에 적용하여 추정 정확도 향상이 일관되게 이루어짐을 보여준다.

실험 결과

연구 질문

• RQ1 세트 크기가 비균형할 경우 표준 minwise 해싱 추정기를 어떻게 체계적으로 개선할 수 있는가?
• RQ2 유사도는 낮지만 포함도는 높을 경우, 최적의 유사도 및 포함도 추정 방법은 무엇인가?
• RQ3 최소 해싱 결과에 대한 3세포 다항모형이 기존 이항모형보다 더 정확한 추정기를 도출할 수 있는가?
• RQ4 새로운 추정기의 성능은 다양한 유사도 및 포함도 영역에서 기존 방법과 비교해 어떻게 되는가?
• RQ5 개선된 추정기를 사용한 b-bit minwise 해싱이 추정 편향과 분산에 이론적·실증적으로 어떤 영향을 미치는가?

주요 결과

• 표준 minwise 해싱 추정기(충돌만 기반)는 f1 = f2일 때에만 최적이며, 세트 크기가 비균형해지면 점점 편향이 커진다.
• 제안된 추정기는 저유사도, 고포함도 쌍에서 표준 추정기가 빈약하게 작동하는 상황에서 편향을 크게 감소시킨다.
• b-bit minwise 해싱에서는 새로운 추정기가 특히 f2/f1 < 0.1 인 경우에 분산이 낮고 정확도가 높아지며, 이는 실제 데이터셋에서 흔한 상황이다.
• 표준 방법이 실패하는 저유사도(R < 0.5)와 고포함도(T ≈ 1) 영역에서 성능 향상이 가장 두드러진다.
• webspam 데이터셋에 대한 실증 결과는 평균 f1/f2 비율이 5.5이며 표준편차가 9.5임을 확인하여 비균형 세트 크기의 빈도를 뒷받침한다.
• 이론적 분석을 통해 새로운 추정기가 3세포 다항모형 하에서 최적임을 확인하였으며, 모든 결과 유형의 확률에 대한 폐쇄형 표현식을 제공한다.