[논문 리뷰] DxHash: A Scalable Consistent Hash Based on the Pseudo-Random Sequence

Chaos Dong, Fang Wang외 1명|arXiv (Cornell University)|2021. 07. 16.

Caching and Content Delivery참고 문헌 12인용 수 9

한 줄 요약

DxHash는 의사난수 시퀀스를 기반으로 한 확장 가능하고 상태 없는 일致한 해싱 알고리즘으로, 근사 최적의 균형, 최소한의 교란, 높은 조회 처리량(초당 1330만 건), 낮은 메모리 사용량(0.125n에서 5n 바이트), 그리고 효율적인 업데이트 오버헤드를 달성한다. 유연한 가중치 조정이 가능한 의사난수 생성기로 동적 확장 및 가중치 기반 로드 분배를 지원하며, 여섯 가지 핵심 메트릭에서 최첨단 기법을 능가한다.

ABSTRACT

Consistent hashing (CH) has been pivotal as a data router and load balancer in diverse fields, including distributed databases, cloud infrastructure, and peer-to-peer networks. However, existing CH algorithms often fall short in simultaneously meeting various critical requirements, such as load balance, minimal disruption, statelessness, high lookup rate, small memory footprint, and low update overhead. To address these limitations, we introduce DxHash, a scalable consistent hashing algorithm based on pseudo-random sequences. To adjust workloads on heterogeneous nodes and enhance flexibility, we propose weighted DxHash. Through comprehensive evaluations, DxHash demonstrates substantial improvements across all six requirements compared to state-of-the-art alternatives. Notably, even when confronted with a 50% failure ratio in a cluster of one million nodes, DxHash maintains remarkable processing capabilities, handling up to 13.3 million queries per second.

연구 동기 및 목표

• 균형, 최소한의 교란, 상태 없음, 높은 조회 처리량, 낮은 업데이트 오버헤드, 소규모 메모리 사용을 동시에 만족하지 못하는 기존 일치 해싱 알고리즘의 상충 관계를 해결하기 위해.
• 100만 노드 클러스터에서 50% 노드 장애가 발생하는 등 극한 조건에서도 높은 성능을 유지할 수 있는 일致한 해싱 기법을 설계하기 위해.
• 일致성과 성능을 유지하면서도 동적 클러스터 확장 및 축소, 가중치 기반 로드 분배를 가능하게 하기 위해.
• 실세계 분산 시스템(예: 클라우드 스토리지, 페어 투 페어 네트워크 등)에 실제 구현 가능한 오픈소스 구현체를 제공하기 위해.

제안 방법

• DxHash는 결정적 의사난수 시퀀스 생성기를 사용해 키를 노드에 매핑함으로써 상태 없고 일致한 키-노드 매핑을 보장한다.
• 반복 해싱을 통해 후보 노드를 동적으로 선택함으로써, Maglev나 SACH와 같은 검색 테이블 기반 방법에 비해 메모리 사용을 감소시킨다.
• 표준 해싱과 가중치 기반 해싱을 모두 지원한다: 가중치 기반 DxHash는 노드에 서로 다른 가중치를 할당하여 로드 분포를 비례적으로 제어할 수 있다.
• 노드 추가/제거 등의 업데이트 작업은 의사난수 시퀀스를 이용해 영향을 받는 키 매핑만 재계산함으로써 교란을 최소화한다.
• 조회 복잡도는 n/a의 order를 가지며, 여기서 n은 총 노드 수, a는 활성화된 노드 수이다. 이는 고장률이 높은 환경에서도 높은 성능을 유지할 수 있음을 의미한다.
• 메모리 사용량은 n/8에서 5n 바이트 사이로 제한되며, Maglev(4m)와 SACH(4m)에 비해 상당히 작다. 동시에 높은 처리량을 유지한다.

실험 결과

연구 질문

• RQ1 일致한 해싱 알고리즘이 균형, 최소한의 교란, 상태 없음, 높은 조회 처리량, 낮은 업데이트 오버헤드, 소규모 메모리 사용을 동시에 달성할 수 있는가?
• RQ2 100만 노드 클러스터에서 50%의 노드 장애가 발생하는 극한의 노드 장애 상황에서 DxHash는 어떻게 성능을 유지하는가?
• RQ3 DxHash는 높은 성능과 낮은 재매핑 오버헤드를 유지하면서도 동적 클러스터 확장 및 축소를 지원할 수 있는가?
• RQ4 가중치 기반 DxHash는 노드의 가중치 비례로 정확하고 정량적인 로드 분포를 제공할 수 있는가?
• RQ5 Maglev, SACH, AnchorHash와 같은 최첨단 알고리즘과 비교해 DxHash의 성능과 메모리 효율성은 어떠한가?

주요 결과

• 100만 노드 클러스터에서 50%의 노드가 장애 발생한 상황에서도 DxHash는 최대 초당 1330만 건의 조회 처리량을 기록하며 뛰어난 장애 내성 능력을 입증한다.
• 100만 노드 클러스터에서 활성화된 노드 비율이 10%일 경우, DxHash는 1초당 435만 건의 키 조회 속도를 유지하며, 활성 비율이 낮은 조건에서 AnchorHash를 100배 이상 뛰어넘는 성능을 보였다.
• 가중치 기반 DxHash는 이론적 기대치와 0.1% 이내의 오차로 로드 분포를 달성하여, 노드의 가중치에 비례한 정밀한 워크로드 제어가 가능하다는 것을 확인했다.
• DxHash의 메모리 사용량은 n/8에서 5n 바이트 사이이며, Maglev(4m)와 SACH(4m)에 비해 상당히 작다. 동시에 O(n/a) 조회 복잡도를 유지한다.
• DxHash의 축소 연산은 클러스터의 상한선을 동적으로 조정함으로써 조회 성능을 향상시키며, 활성 비율을 높이고 검색 길이를 단축시킨다.
• DxHash는 삽입 및 삭제 작업 모두에서 상태 없이 작동하므로, 이전 작업 순서를 유지할 필요가 없으며, 이로 인해 메모리 접근 오버헤드가 감소한다.