[논문 리뷰] Benchmarking Concurrent Priority Queues: Performance of k-LSM and Related Data Structures

Jakob Gruber, Jesper Larsson Träff외 1명|arXiv (Cornell University)|2016. 03. 16.

Distributed systems and fault tolerance참고 문헌 11인용 수 3

한 줄 요약

이 논문은 다양한 워크로드와 키 분포에서 동시성 우선순위 큐, 특히 k-LSM 및 관련 데이터 구조를 벤치마킹한다. 균일한 키 분포 하에서 높은 처리량을 보이지만 비균일한 분포에서는 성능이 크게 떨어지는 것을 입증하며, 이는 동시성 우선순위 큐 평가에 처리량만으로는 부족하다는 점을 강조한다.

ABSTRACT

A number of concurrent, relaxed priority queues have recently been proposed and implemented. Results are commonly reported for a throughput benchmark that uses a uniform distribution of keys drawn from a large integer range, and mostly for single systems. We have conducted more extensive benchmarking of three recent, relaxed priority queues on four different types of systems with different key ranges and distributions. While we can show superior throughput and scalability for our own k-LSM priority queue for the uniform key distribution, the picture changes drastically for other distributions, both with respect to achieved throughput and relative merit of the priority queues. The throughput benchmark alone is thus not sufficient to characterize the performance of concurrent priority queues. Our benchmark code and k-LSM priority queue are publicly available to foster future comparison.

연구 동기 및 목표

• 표준 처리량 벤치마크를 넘어서 동시성 우선순위 큐의 성능을 평가하기 위해.
• 다양한 키 분포와 워크로드 패턴이 느슨한 우선순위 큐의 확장성과 처리량에 미치는 영향을 조사하기 위해.
• 이산 이벤트 시뮬레이션과 그래프 알고리즘에서 흔한 워크로드에 대해 이완 의미 체계의 실제 적용 가능성을 평가하기 위해.
• 향후 동시성 우선순위 큐 설계의 재현 가능성과 비교 가능성 확보를 위해 공개된 벤치마크 세트와 k-LSM 구현을 제공하기 위해.

제안 방법

• 균일(50% 삽입/삭제) 및 스플릿(반은 삽입 전용, 반은 삭제 전용) 워크로드를 포함한 구성 가능한 벤치마크 설계.
• 8-, 16-, 32비트 범위에서의 균일한 키 분포와 점진적 키 이동이 있는 증가/감소 순서 키 분포 테스트.
• 다섯 가지 우선순위 큐 변종 구현 및 평가: k-LSM(k=128, 256, 4096), SprayList, MultiQueue, 그리고 기준으로 사용된 글로벌 잠금 힙.
• 네 대의 멀티코어 시스템에서 처리량(초당 연산 수)과 순위 오차(엄격한 우선순위 의미 체계에서의 편차) 측정.
• 30회 반복한 평균과 표준편차를 이용한 통계 분석을 통해 성능 일관성과 확장성 평가.
• 벤치마크 코드와 k-LSM 구현을 공개하여 재현 가능성과 향후 비교 지원.

실험 결과

연구 질문

• RQ1 k-LSM 및 기타 동시성 우선순위 큐의 성능은 균일, 증가, 감소와 같은 다양한 키 분포에서 어떻게 달라지나?
• RQ2 처리량 벤치마크만으로도 동시성 우선순위 큐 성능을 충분히 특성화할 수 있는가, 아니면 워크로드 패턴이 핵심적인가?
• RQ3 이완 의미 체계(예: k개의 최소 요소 중 하나를 반환하는 것)는 다양한 워크로드에서 실제 성능과 일관성에 어떤 영향을 미치는가?
• RQ4 어느 데이터 구조가 다양한 시스템과 워크로드 구성에서 가장 일관된 성능을 보이는가?
• RQ5 실제로 순위 오차가 이론적 최악의 경우 경계에서 얼마나 벗어나는가?

주요 결과

• 균일한 워크로드와 균일한 키 하에서 k-LSM 우선순위 큐는 80코어 시스템에서 초당 3억 건 이상의 연산을 달성하여 모든 다른 구현보다 뛰어난 성능을 보였다.
• 증가 키를 가진 스플릿 워크로드에서는 처리량이 10배 감소했으며, MultiQueue가 k-LSM을 크게 앞서 성능이 뛰어났다.
• 제한된 8비트 키 범위에서는 k-LSM이 다른 큐보다 성능이 뛰어났지만, 모든 구현에서 처리량이 낮게 유지되었다.
• SprayList는 비균일 워크로드, 특히 스플릿 및 증가 키 시나리오에서 불안정성을 보이며 신뢰할 수 있는 결과를 도출하지 못했다.
• MultiQueue는 모든 구성과 시스템에서 가장 일관된 성능을 보였으며, 안정적인 처리량과 낮은 분산을 유지했다.
• 순위 오차 측정 결과, 모든 큐가 이론적 최악의 경우 경계가 예측하는 것보다 훨씬 더 진짜 최소값에 가까운 요소를 반환하여, 이완이 있더라도 실질적으로 신뢰할 수 있음을 보여주었다.