[논문 리뷰] Concurrent Hash Tables: Fast and General?(!)

Tobias Maier, Peter Sanders외 1명|arXiv (Cornell University)|2016. 01. 15.

Algorithms and Data Compression참고 문헌 20인용 수 6

한 줄 요약

이 논문은 레이어드 프로빙 기반의 고도로 최적화된, 락 없는 동시성 해시 테이블을 제안하며, 동적 리사이징과 일반 키-값 유형을 지원하면서도 거의 최고 성능을 유지한다. 철저한 설계를 통해 스케일러비리티 기능(성장, 삭제, 임의의 데이터 유형)을 추가할 때 발생하는 성능 손실를 최소화할 수 있음을 입증하며, 특히 경쟁이 빈번한 상황에서 기존 일반 목적의 동시성 해시 테이블보다 최대 1000배 빠른 성능을 달성한다.

ABSTRACT

Concurrent hash tables are one of the most important concurrent data structures with numerous applications. Since hash table accesses can dominate the execution time of the overall application, we need implementations that achieve good speedup. Unfortunately, currently available concurrent hashing libraries turn out to be far away from this requirement in particular when contention on some elements occurs. Our starting point for better performing data structures is a fast and simple lock-free concurrent hash table based on linear probing that is limited to word-sized key-value types and does not support dynamic size adaptation. We explain how to lift these limitations in a provably scalable way and demonstrate that dynamic growing has a performance overhead comparable to the same generalization in sequential hash tables. We perform extensive experiments comparing the performance of our implementations with six of the most widely used concurrent hash tables. Ours are considerably faster than the best algorithms with similar restrictions and an order of magnitude faster than the best more general tables. In some extreme cases, the difference even approaches four orders of magnitude.

연구 동기 및 목표

• 실제 워크로드에서 경쟁과 동적 리사이징이 발생할 때 기존 일반 목적의 동시성 해시 테이블의 낮은 확장성 문제를 해결하기 위해.
• 빠르고 고정 크기이며 워드 크기의 레이어드 프로빙 해시 테이블을 동적 리사이징, 삭제, 임의의 데이터 유형을 지원하도록 확장할 때 성능를 유지할 수 있는지 조사하기 위해.
• 다중 코어 환경에서 동시성 해시 테이블 설계에서 성능와 일반성 간의 트레이드오프를 평가하기 위해.
• 일반화에 따른 성능 비용이 순차적 해시 테이블 수준과 유사하므로, 성능에 민감한 응용 프로그램에 실용적일 수 있음을 보여주기 위해.

제안 방법

• 워드 크기의 키와 값에 최적화된 락 없는 레이어드 프로빙 해시 테이블을 설계하며, 원자적 비교-스왑(CAS) 연산만을 사용한다.
• 전체 동기화 병목 현상을 피하기 위한 새로운 확장 가능한 마이그레이션 알고리즘을 통해 기본 설계를 동적 리사이징을 지원하도록 확장한다.
• 안전한 삭제와 메모리 재활용을 위해 마킹 기반 접근 방식을 도입하여 차단 없이 효율적인 공간 재사용을 가능하게 한다.
• 고경쟁 상황에서 삽입과 업데이트를 가속화하기 위해 인텔 하드웨어 트랜잭셔널 검색(TSX)을 활용한다.
• 직렬화와 포인터 기반 저장을 통해 임의의 키-값 유형을 지원하는 구현을 하되, 성능 영향을 최소화한다.
• 부분 템플릿 전문화와 추상화 계층을 활용하여 전용 케이스에서 성능를 유지하면서도 통합된 사용자 友好的 인터페이스를 제공한다.

실험 결과

연구 질문

• RQ1 고정 크기 버전과 비교해 성능 저하가 최소한인 락 없는 레이어드 프로빙 해시 테이블을 동적 리사이징을 지원하도록 확장할 수 있는가?
• RQ2 고도로 최적화된 고정 크기 동시성 해시 테이블이 경쟁과 다양한 워크로드 하에서 일반 목적의 구현과 비교해 어떻게 성능를 보이는가?
• RQ3 동시성 해시 테이블에서 임의의 키-값 유형과 삭제를 지원할 때 발생하는 성능 오버헤드는 얼마이며, 이는 순차적 해시 테이블의 성장과 비교해 유사한 수준으로 유지될 수 있는가?
• RQ4 하드웨어 트랜잭셔널 메모리가 동시성 삽입과 업데이트에서 성능 향상에 얼마나 기여하는가?
• RQ5 추상화와 템플릿 전문화를 통해 하나의 구현이 전용 및 일반 용도를 모두 효율적으로 지원할 수 있는가?

주요 결과

• 고정 크기의 워드 크기 레이어드 프로빙 해시 테이블은 고경쟁 상황에서의 검색 작업에서 모든 경쟁자를 최대 4개의 지수 차수만큼 앞서며, 읽기 중심 환경에서 락이나 CAS를 사용할 경우 발생하는 심각한 성능 비용을 입증한다.
• 동적 리사이징에 따른 성능 오버헤드는 삽입 및 업데이트의 경우 두 배 이내이며, 검색 작업에서는 무시할 수 있을 정도로 낮다 — 순차적 해시 테이블과 유사하다.
• 일반 목적의 구현 중에서 TBB, Cuckoo, RCU만이 임의의 데이터 유형을 지원하지만, 삽입 작업에서는 제안된 구현보다 최소 10배 이상 느리다.
• Cuckoo 해시 테이블은 삽입 작업에서는 다섯 배 빨라지지만, 경쟁 상황에서는 5,600배 느리며, 일부 일반 목적의 설계가 얼마나 취약한지 보여준다.
• 마킹 기반 마이그레이션을 사용한 제안된 성장 메커니즘은 특히 업데이트 중심 워크로드에서 전역 동기화 성장 방식보다 더 높은 성능을 달성한다.
• 하드웨어 트랜잭셔널 메모리(인텔 TSX)는 삽입과 업데이트를 추가로 가속화하며, 고경쟁 상황에서의 성능 향상 잠재력을 보여준다.