[논문 리뷰] Even Better Framework for min-wise Based Algorithms

Guy Feigenblat, Ely Porat외 1명|arXiv (Cornell University)|2011. 02. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 23인용 수 3

한 줄 요약

이 논문은 기존의 O(log(1/ε))의 독립도를 요구하는 바이어스가 있는 min-wise 해시 함수에 비해, O(d)의 독립도만으로도 지수적 시간 및 공간 성능 향상을 달성하는 새로운 d-k-min-wise 독립적인 해시 함수 가족을 제안한다. 주요 기여는 대부분의 실용적 경우에서 8-wise 독립도만으로도 충분하며, 이는 O(log(1/ε))의 하한을 우회하고 오차가 제한된 근사에서 최적의 일정한 독립도를 실현함으로써 가능하다.

ABSTRACT

In a recent paper from SODA11 \cite{kminwise} the authors introduced a general framework for exponential time improvement of \minwise based algorithms by defining and constructing almost \kmin independent family of hash functions. Here we take it a step forward and reduce the space and the independent needed for representing the functions, by defining and constructing a \dkmin independent family of hash functions. Surprisingly, for most cases only 8-wise independent is needed for exponential time and space improvement. Moreover, we bypass the $O(\log{\frac{1}ε})$ independent lower bound for approximately \minwise functions \cite{patrascu10kwise-lb}, as we use alternative definition. In addition, as the independent's degree is a small constant it can be implemented efficiently. Informally, under this definition, all subsets of size $d$ of any fixed set $X$ have an equal probability to have hash values among the minimal $k$ values in $X$, where the probability is over the random choice of hash function from the family. This property measures the randomness of the family, as choosing a truly random function, obviously, satisfies the definition for $d=k=|X|$. We define and give an efficient time and space construction of approximately \dkmin independent family of hash functions. The degree of independent required is optimal, i.e. only $O(d)$ for $2 \le d < k=O(\frac{d}{ε^2})$, where $ε\in (0,1)$ is the desired error bound. This construction can be used to improve many \minwise based algorithms, such as \cite{sizeEstimationFramework,Datar02estimatingrarity,NearDuplicate,SimilaritySearch,DBLP:conf/podc/CohenK07}, as will be discussed here. To our knowledge such definitions, for hash functions, were never studied and no construction was given before.

연구 동기 및 목표

• 유사도 추정 및 중복 탐지와 같은 알고리즘에서 기존의 min-wise 독립적인 해시 함수가 요구하는 높은 공간 및 독립도 요구 사항을 해결하기 위해.
• 근사 min-wise 해시에 필요한 독립도를 O(log(1/ε))에서 O(d)로 감소시키기 위해, 여기서 d는 부분집합 크기이다.
• 모든 d개 원소로 구성된 부분집합이 어떤 집합 X의 k개의 최소 해시 값에 포함될 확률이 동일하도록 보장하는 d-k-min-wise 독립적인 가족을 정의하고 구성하기 위해.
• 실용적 데이터 마이닝 및 스케치링 응용 분야에서 사용 가능한 공간 및 시간 최적의 효율적 구성 방법을 제공하기 위해.

제안 방법

• d-k-min-wise 독립성의 새로운 정의 도입: 임의의 집합 X와 크기가 d인 부분집합 Y ⊆ X에 대해, h(y)가 h(X)의 k개의 최소 값에 속할 확률이 (1±ε) 오차 범위 내에서 정확히 1 / (|X| choose d)여야 한다.
• l-wise 독립적인 해시 함수를 사용하여 근사적인 d-k-min-wise 독립적인 가족을 구성하며, 여기서 l ≥ 3d+2이어야 하며 l은 작은 상수이다.
• 순서 통계 분석 및 블록 확률 분석을 통해 l-wise 독립도가 (ε / c)-d-k-min-wise 독립성에 충분함을 증명한다. 여기서 c는 보편 상수이다.
• 테일 확률의 블록에 대한 경계 분석과 텔레스코프 합 기법을 활용하여 균일도에서의 오차 항을 제어한다.
• d-k-min-wise 독립성에 대해 O(d)의 독립도만으로도 충분하며, 이는 최적의 결과이며 이전의 O(log(1/ε)) 하한보다 크게 향상됨을 활용한다.
• 기존의 min-wise 기반 알고리즘, 예를 들어 유사도 추정, 스케치링, 중복 탐지에 대해 이 구성법을 적용하여 지수적 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 O(log(1/ε)) 이하의 독립도로 근사 min-wise 해시를 유지하면서 (1±ε) 정확도를 확보할 수 있는가?
• RQ2 모든 d개 원소로 구성된 부분집합이 k개의 최소 해시 값에 포함될 확률이 균일하도록 보장하는 d-k-min-wise 독립적인 해시 함수 가족을 정의하고 구성할 수 있는가?
• RQ3 O(log(1/ε))의 하한을 우회하면서 (ε / c)-d-k-min-wise 독립성을 달성하기 위해 필요한 최소 독립도는 얼마이며, 실용적인 d에 대해 이를 최적의 일정한 수준으로 만들 수 있는가?
• RQ4 공간 및 시간 효율성을 확보하면서도 min-wise 해시 응용 분야에서 강력한 확률적 보장을 유지할 수 있는 구성 방법은 무엇인가?
• RQ5 이 프레임워크는 기존의 min-wise 기반 알고리즘, 예를 들어 유사도 추정 및 스케치링의 성능 향상에 적용되어 지수적 속도 향상을 이끌 수 있는가?

주요 결과

• 논문은 O(d)의 독립도만으로도 근사적인 d-k-min-wise 독립적인 해시 함수 가족을 구성하였으며, 이는 최적의 결과이며 이전에 필수로 여겨졌던 O(log(1/ε)) 하한에 비해 상당한 향상이다.
• 대부분의 실용적 사례에서 min-wise 기반 알고리즘의 지수적 시간 및 공간 성능 향상을 달성하기 위해 오직 8-wise 독립도만으로도 충분하다.
• 기존의 O(log(1/ε)) 독립도 하한을 우회하기 위해 새로운 d-k-min-wise 독립성 정의를 도입함으로써, 이는 동일한 제약 조건에 의존하지 않는다.
• l-wise 독립적인 해시 함수를 사용하여 l ≥ 3d+2 조건을 만족할 경우, (ε / c)-d-k-min-wise 독립성을 달성하며, 여기서 c는 보편 상수이다.
• 이론적 분석을 통해 오차 편차가 ε · (k choose d) / (n choose d) 이하로 제한됨을 증명하여 부분집합 샘플링 및 유사도 추정에서 높은 정확도를 확보한다.
• 이 프레임워크는 유사도 추정, 스케치링, 중복 탐지와 같은 다양한 min-wise 기반 알고리즘의 시간 및 공간 복잡도를 지수적으로 향상시킬 수 있다.