[논문 리뷰] The power of two choices with simple tabulation

Søren Dahlgaard, Mathias Bæk Tejs Knudsen외 2명|arXiv (Cornell University)|2016. 01. 10.

Algorithms and Data Compression참고 문헌 19인용 수 8

한 줄 요약

이 논문은 간단한 탭루레이션 해싱—상수 시간에 효율적으로 계산 가능한—방식이 두 선택의 하중 균형화 프레임워크에서 완전 무작위 해싱과 동일한 O(lg lg n) 최대 하중을 높은 확률로 달성함을 입증한다. 이는 오랫동안 열려있던 문제를 해결하며, 단순 탭루레이션 해싱에 대해 높은 확률로 유한한 경계를 제시하는 동시에, 완전 무작위 해싱과는 달리 특정 경우에 최대 하중이 lg lg n + O(1)을 초과할 수 있음을 보여준다.

ABSTRACT

The power of two choices is a classic paradigm for load balancing when assigning m balls to n bins. When placing a ball, we pick two bins according to two hash functions h0 and h1, and place the ball in the least loaded bin. Assuming fully random hash functions, when m = O(n), Azar et al. [STOC'94] proved that the maximum load is lg lg n + O(1) with high probability. No such bound was known with a hash function implementable in constant time.In this paper, we investigate the power of two choices when the hash functions h0 and h1 are implemented with simple tabulation, which is a very efficient hash function evaluated in constant time. Following their analysis of Cuckoo hashing [J.ACM'12], Patrascu and Thorup claimed that the expected maximum load with simple tabulation is O(lg lg n). This did not include any high probability guarantee, so the load balancing was not yet to be trusted.Here, we show that with simple tabulation, the maximum load is O(lg lg n) with high probability, giving the first constant time hash function with this guarantee. We also give a concrete example where, unlike with fully random hashing, the maximum load is not bounded by lg lg n + O(1), or even (1 + o(1)) lg lg n with high probability. Finally, we show that the expected maximum load is lg lg n + O(1), just like with fully random hashing.

연구 동기 및 목표

• 두 선택의 하중 균형화에서 이론적 보장과 실용적 효율성 사이의 격차를 메우기 위해.
• 완전 무작위 해시 함수 대신 단순 탭루레이션 해싱을 사용할 경우 최대 하중에 대한 높은 확률 경계를 확립하기 위해.
• 단순 탭루레이션 해싱이 완전 무작위 해싱과 동일하게 lg lg n + O(1)의 최대 하중 경계를 높은 확률로 유지할 수 있는지 확인하기 위해.
• 단순 탭루레이션 해싱의 한계를 분석하여, 최대 하중이 lg lg n + O(1)을 높은 확률로 초과하는 구체적인 사례를 규명하기 위해.
• 단순 탭루레이션 해싱 하에서의 기대 최대 하중이 완전 무작위 경우와 동일하게 lg lg n + O(1)임을 확인하기 위해.

제안 방법

• 저자들은 키를 문자 수준 연산에 기반한 결정적이고 상수 시간 계산을 통해 바구니에 매핑하는 단순 탭루레이션 해싱을 사용하여 두 선택의 하중 균형화를 분석한다.
• 그들은 하중 분포에 대한 분석을 위해 농도 경계와 마팅게일 추론과 같은 고급 확률 기법을 활용한다.
• 분석은 시간에 따라 바구니 하중의 변화에 집중하며, 두 개의 무작위로 선택된 바구니 중에서 선택함으로써 최대 하중이 어떻게 감소하는지 추적한다.
• 완전 무작위 해싱과는 달리, 단순 탭루레이션 해싱 하에서 최대 하중이 특정 시나리오에서 lg lg n + O(1)을 초과할 수 있음을 보여주는 반례를 구성한다.
• 그러나 이로 인해 최대 하중이 높은 확률로 O(lg lg n)을 유지함을 정교한 尾확률 추정을 통해 증명한다.
• 또한 순간 기반 분석을 통해 기대 최대 하중이 완전 무작위 경우와 마찬가지로 lg lg n + O(1)임을 입증한다.

실험 결과

연구 질문

• RQ1 단순 탭루레이션 해싱은 두 선택의 하중 균형화 환경에서 높은 확률로 O(lg lg n) 최대 하중을 달성할 수 있는가?
• RQ2 완전 무작위 해싱과 마찬가지로, 단순 탭루레이션 해싱 하에서 최대 하중이 높은 확률로 lg lg n + O(1) 이하로 유지되는가?
• RQ3 최대 하중이 lg lg n + O(1)을 높은 확률로 크게 초과하는 특정 입력 구성이 존재하는가?
• RQ4 두 선택의 하중 균형화 프레임워크에서 단순 탭루레이션 해싱을 사용할 경우 기대 최대 하중은 얼마인가?
• RQ5 하중 분포 보장 측면에서 단순 탭루레이션 해싱은 완전 무작위 해싱과 어떻게 비교되는가?

주요 결과

• 단순 탭루레이션 해싱을 사용할 경우 최대 하중은 높은 확률로 O(lg lg n)이며, 이는 완전 무작위 해싱의 이론적 경계와 일치한다.
• 최대 하중이 lg lg n + O(1)을 높은 확률로 초과하는 구체적인 입력 예시가 존재함을 보여주며, 이는 완전 무작위 해싱과의 핵심적인 차이를 입증한다.
• 단순 탭루레이션 해싱 하에서의 기대 최대 하중은 완전 무작위 경우와 마찬가지로 lg lg n + O(1)이다.
• 이 결과는 단순 탭루레이션 해싱이 실용적이고 상수 시간에 작동하는 해시 함수로서 강력한 높은 확률 하중 균형 보장을 제공함을 입증한다.
• 이로써 두 선택의 하중 균형 모델에서 높은 확률로 O(lg lg n) 최대 하중을 보장하는 최초의 상수 시간 해시 함수를 제공함으로써 오랫동안 열려있던 문제를 해결한다.
• 분석은 단순 탭루레이션 해싱이 결정적이고 효율적이지만 여전히 두 선택의 프레임워크에서 거의 최적의 하중 균형 성능을 달성할 수 있음을 확인한다.