[논문 리뷰] Multi-probe consistent hashing

Ben Appleton, Michael O’Reilly|arXiv (Cornell University)|2015. 05. 01.

Algorithms and Data Compression인용 수 12

한 줄 요약

이 논문은 다중 프로브 일致 해싱을 제안하며, 이는 각 노드당 $O(1)$ 공간과 각 검색에 $O(1/ uarepsilon)$ 시간을 사용하여 피크 대 평균 로드 비율을 $1+\varepsilon$로 달성하는 새로운 일치 해싱 알고리즘이다. 각 키를 다수의 해시로 해싱하고 해시 링상에서 가장 가까운 노드에 할당하여, 가상 노드나 사전 계산된 계층을 필요로 하지 않으면서도 효과적으로 로드를 균형 잡는다.

ABSTRACT

We describe a consistent hashing algorithm which performs multiple lookups per key in a hash table of nodes. It requires no additional storage beyond the hash table, and achieves a peak-to-average load ratio of 1 + epsilon with just 1 + 1/epsilon lookups per key.

연구 동기 및 목표

• 기본 해싱을 사용할 경우 $\Theta(\ln n)$에 이르는 높은 피크 대 평균 로드 비율 문제를 해결하기 위해.
• 근사 최적의 피크 대 평균 로드 비율을 달성하면서도 $O(n)$ 공간, $O(1)$ 평균 업데이트 시간, $O(1)$ 검색 시간을 유지하는 일치 해싱 알고리즘을 설계하기 위해.
• 링 일치 해싱(높은 메모리 사용)과 점프 일치 해싱(노드 제거 지원 불가) 등의 기존 방법의 한계를 극복하여 효율적이고 일致하며 확장 가능한 로드 균형을 제공하기 위해.
• 금전적 비용이나 초기화 비용이 과도하게 증가하는 것을 방지하면서도 대규모 노드 수에까지 확장 가능한 링 일치 해싱의 실용적 대안을 제공하기 위해.

제안 방법

• 알고리즘은 각 키를 $K$번 단위 원형 링에 해싱하고, 이들 $K$개의 키 해싱 값 중 가장 가까운 노드에 키를 할당한다.
• 가상 노드가 필요 없도록 물리적 노드를 저장하는 단일 해시 테이블을 사용하여 메모리 오버헤드를 감소시킨다.
• 포isson 과정의 통계적 성질과 지수 간격을 활용하여 $K=2$ 프로브를 사용할 경우 최대 로드를 제한한다.
• $K \geq 2$ 이고 $K \ll \sqrt{n}/\ln n$ 인 경우, 기대 피크 로드는 $\frac{K}{K-1} \cdot \frac{1}{n} + o(1/n)$이며, 이는 $K=1+1/\varepsilon$일 때 피크 대 평균 비율이 $1+\varepsilon$가 되도록 보장한다.
• 삽입 및 제거 작업을 $O(1)$ 평균 시간 내에 수행하면서도 일致성을 유지할 수 있다.
• 사전 합의된 계층 또는 사전 계산된 구조가 필요 없기 때문에, 동적 노드 집합을 가진 분산 시스템에 쉽게 구현할 수 있다.

실험 결과

연구 질문

• RQ1 일치 해싱이 $O(n)$ 공간과 $O(1)$ 평균 업데이트 시간으로만 사용하여 피크 대 평균 로드 비율을 $1+\varepsilon$로 달성할 수 있는가?
• RQ2 가상 노드 없이 각 키당 추가 프로브 수를 $O(1)$로 제한함으로써 피크 대 평균 로드 비율을 $\Theta(\ln n)$에서 $O(1)$로 낮출 수 있는가?
• RQ3 메모리 사용, 초기화, 업데이트 성능 측면에서 다중 프로브 일치 해싱은 링 일치 해싱보다 어떻게 비교되는가?
• RQ4 로드 균형과 일치성을 유지하면서도 임의의 노드 제거를 지원할 수 있는가?
• RQ5 2개의 프로브를 사용할 경우 로드 균형과 검색 시간 사이의 성능 트레이드오프는 어떠한가?

주요 결과

• 2개의 키 프로브를 사용할 경우 기대 피크 대 평균 로드 비율은 2로 제한되며, 실질적으로는 $350-600$ ns의 키 할당 시간에 $1.05$의 비율을 달성한다.
• 알고리즘은 $O(n)$ 공간만을 필요로 하며, 각 노드를 해시 테이블에 한 번만 저장하고, 삽입 및 제거 작업에 대해 $O(1)$ 평균 시간을 제공한다.
• 노드당 초기화 시간은 약 40 ns로 일정하며, 최대 100,000개의 노드까지도 유지되며, 반면 링 일치 해싱은 초기화 시간이 $O(n \ln n / \varepsilon^2)$로 증가하여 성능이 급격히 떨어진다.
• 검색 시간은 $O(1/\varepsilon)$이며, $\varepsilon=0.05$일 경우 키당 $O(1)$ 시간을 유지하며, 100,000개의 노드에서도 안정성을 유지한다.
• 업데이트 시간은 $O(1)$ 평균 시간을 기록하며, 링 일치 해싱보다 수개의 주기 만큼 더 빠르게 성능을 냅니다.
• 상수 메모리 및 초기화 오버헤드 덕분에 링 일치 해싱보다 더 큰 노드 집합에 확장 가능하여, 대규모 분산 시스템에 적합하다.