[논문 리뷰] Incremental Edge Orientation in Forests

Michael A. Bender, Bradley C. Kuszmaul외 3명|arXiv (Cornell University)|2021. 01. 01.

Caching and Content Delivery참고 문헌 118인용 수 2

한 줄 요약

이 논문은 1−1/x에 가까운 로드 팩터에서도 예상 평균 비용 Õ(x)을 유지할 수 있도록 전략적으로 톰스톤을 사용하여 1차 클러스터링을 제거하는 새로운 선형 프로빙 변종인 그레이브드 해싱을 소개한다. 톰스톤을 통해 삭제를 철저히 관리하고 즉각적인 압축을 피하는 방식으로, 저자들은 외부 메모리에서 블록 크기 B일 때 x=o(B)이면 1+o(1) 블록 전송으로 최적의 성능을 달성함을 보여준다.

ABSTRACT

First introduced in 1954, linear probing is one of the oldest data structures in computer science, and due to its unrivaled data locality, it continues to be one of the fastest hash tables in practice. It is widely believed and taught, however, that linear probing should never be used at high load factors; this is because primary-clustering effects cause insertions at load factor $1 - 1 /x$ to take expected time $Θ(x^2)$ (rather than the ideal $Θ(x)$). The dangers of primary clustering, first discovered by Knuth in 1963, have been taught to generations of computer scientists, and have influenced the design of some of many widely used hash tables. We show that primary clustering is not a foregone conclusion. We demonstrate that small design decisions in how deletions are implemented have dramatic effects on the asymptotic performance of insertions, so that, even if a hash table operates continuously at a load factor $1 - Θ(1/x)$, the expected amortized cost per operation is $ ilde{O}(x)$. This is because tombstones created by deletions actually cause an anti-clustering effect that combats primary clustering. We also present a new variant of linear probing (which we call graveyard hashing) that completely eliminates primary clustering on \emph{any} sequence of operations: if, when an operation is performed, the current load factor is $1 - 1/x$ for some $x$, then the expected cost of the operation is $O(x)$. One corollary is that, in the external-memory model with a data blocks of size $B$, graveyard hashing offers the following remarkable guarantee: at any load factor $1 - 1/x$ satisfying $x = o(B)$, graveyard hashing achieves $1 + o(1)$ expected block transfers per operation. Past external-memory hash tables have only been able to offer a $1 + o(1)$ guarantee when the block size $B$ is at least $Ω(x^2)$.

연구 동기 및 목표

• 높은 로드 팩터에서 1차 클러스터링으로 인한 성능 저하 문제를 해결하기 위해.
• 톰스톤 기반 삭제 전략이 선형 프로빙의 점근적 행동을 근본적으로 변화시킬 수 있는지 조사하기 위해.
• 데이터 국소성을 유지하면서도 1차 클러스터링을 제거하는 해시 테이블 변종을 설계하기 위해.
• 높은 로드 팩터에서 외부 메모리 성능을 최적화하여, 작업당 1+o(1) 예상 블록 전송을 달성하기 위해.

제안 방법

• 톰스톤을 사용해 반대 클러스터링 효과를 유도하는 선형 프로빙의 변종인 '그레이브드 해싱'을 도입한다.
• 톰스톤과 삽입 간의 상호작용을 분석하여, 톰스톤이 긴 연속된 런을 깨뜨림으로써 클러스터링을 줄일 수 있음을 보여준다.
• 확률적 분석을 통해 톰스톤이 삽입 작업이 실제로보다 덜 클러스터링된 것처럼 행동하게 함을 입증한다.
• 적절한 톰스톤 관리 방식을 통해, 로드 팩터 1−1/x일 때도 작업당 예상 평균 비용이 Õ(x)로 유지됨을 증명한다.
• 외부 메모리에 이 기법을 적용하여, 블록 크기 B일 때 x=o(B)이면 작업당 1+o(1) 예상 블록 전송을 달성함을 보여준다.
• 실제 해시 패밀리와의 호환성을 확보하기 위해 2-독립적 및 단순 탭룰레이션 해시 함수에 대한 기존 결과를 활용한다.

실험 결과

연구 질문

• RQ1 톰스톤 기반 삭제 전략이 선형 프로빙에서 1차 클러스터링을 제거할 수 있는가?
• RQ2 해시 테이블에 톰스톤이 존재할 경우 반대 클러스터링 효과가 발생하여 삽입 성능이 향상되는가?
• RQ3 삭제를 톰스톤을 통해 처리할 경우, 로드 팩터가 1−1/x에 가까워지는 상황에서도 선형 프로빙이 O(x) 예상 평균 비용을 유지할 수 있는가?
• RQ4 톰스톤을 사용해 클러스터링을 방지하는 선형 프로빙 변종의 외부 메모리 성능은 어떠한가?
• RQ5 톰스톤의 사용이, 삭제가 없는 워크로드에서도 선형 프로빙의 점근적 행동을 변화시킬 수 있는가?

주요 결과

• 그레이브드 해싱는 로드 팩터 1−1/x일 때도 삽입 또는 삭제 작업당 예상 평균 비용이 Õ(x)임을 달성한다.
• 톰스톤은 장기간의 런 형성을 방지하는 반대 클러스터링 효과를 유도하여 1차 클러스터링을 억제한다.
• 외부 메모리 모델에서 x=o(B)일 때 그레이브드 해싱는 작업당 1+o(1) 예상 블록 전송을 달성하며, 이는 이전 연구에서 B=Ω(x²)가 필요로 했던 것보다 뚜렷한 향상이다.
• 톰스톤의 지속적인 반대 클러스터링 효과 덕분에 삭제가 없는 워크로드에서도 성능 보장이 유지된다.
• 이 기법은 2-독립적 및 단순 탭룰레이션 해시 함수와 호환되어 실용적 구현이 가능하다.
• 결과적으로 톰스톤 관리는 단순한 엔지니어링 선택이 아니라, 선형 프로빙의 점근적 행동을 변화시키는 핵심적인 알고리즘 설계 결정임을 보여준다.