[논문 리뷰] Analysis of Pivot Sampling in Dual-Pivot Quicksort

Sebastian Wild, Markus E. Nebel외 1명|arXiv (Cornell University)|2014. 11. 30.

Parallel Computing and Optimization Techniques인용 수 7

한 줄 요약

이 논문은 양자리스키의 이중피봇 퀵정렬에서 피봇 샘플링을 분석하여, 비대칭 피봇 선택—즉, 샘플에서 비대칭적인 순서 통계량을 선택하는 것—이 대칭적 샘플링보다 요소 스캔과 I/O 연산을 더 효과적으로 줄임을 보여준다. 주요 기여는 Yaroslavskiy의 알고리즘이 고전적 퀵정렬보다 성능이 뛰어난 이유가 비교 횟수 때문이 아니라 메모리 계층 구조 활용 능력이 뛰어나기 때문임을 드러내는 통합적인 비용 분석이다.

ABSTRACT

The new dual-pivot Quicksort by Vladimir Yaroslavskiy - used in Oracle's Java runtime library since version 7 - features intriguing asymmetries. They make a basic variant of this algorithm use less comparisons than classic single-pivot Quicksort. In this paper, we extend the analysis to the case where the two pivots are chosen as fixed order statistics of a random sample. Surprisingly, dual-pivot Quicksort then needs more comparisons than a corresponding version of classic Quicksort, so it is clear that counting comparisons is not sufficient to explain the running time advantages observed for Yaroslavskiy's algorithm in practice. Consequently, we take a more holistic approach and give also the precise leading term of the average number of swaps, the number of executed Java Bytecode instructions and the number of scanned elements, a new simple cost measure that approximates I/O costs in the memory hierarchy. We determine optimal order statistics for each of the cost measures. It turns out that the asymmetries in Yaroslavskiy's algorithm render pivots with a systematic skew more efficient than the symmetric choice. Moreover, we finally have a convincing explanation for the success of Yaroslavskiy's algorithm in practice: Compared with corresponding versions of classic single-pivot Quicksort, dual-pivot Quicksort needs significantly less I/Os, both with and without pivot sampling.

연구 동기 및 목표

• Yaroslavskiy의 이중피봇 퀵정렬이 비교 횟수가 더 많음에도 불구하고 실질적으로 고전적 단일피봇 퀵정렬보다 뛰어나게 성능을 내는 이유를 이해하는 것.
• 특히, 샘플에서 비대칭적인 순서 통계량을 선택하는 피봇 샘플링 전략이 전체 알고리즘 비용에 미치는 영향을 분석하는 것.
• 비교 외에도 스왑, 바이트코드 명령어, 스캔된 요소 수 등 다양한 비용 측정 기준을 평가하여 최적의 피봇 샘플링 체계를 규명하는 것.
• 실제 비용 모델을 반영한 현실적인 조건에서 이중피봇 퀵정렬의 성능 트레이드오프를 종합적으로 분석하는 것.

제안 방법

• 고정된 크기의 샘플에서 고정된 순서 통계량으로 피봇을 선택하는 다양한 피봇 샘플링 전략 하에서 Yaroslavskiy의 비대칭 파artitioning 방식을 분석한다.
• 핵심 비교, 스왑, 자바 바이트코드 명령어, 스캔된 요소 수의 네 가지 비용 측정 기준에 대해 정확한 渐近적 주요항 표현식을 유도한다.
• 외부 메모리 모델에서 I/O 및 캐시 미스를 근사하는 데 사용되는 새로운 비용 측정 기준인 '스캔된 요소 수'를 도입한다.
• 해석적 조합학과 생성함수를 사용하여 파artitioning 과정과 재귀적 부분문제 크기의 행동을 모델링한다.
• 파artitioning 비용과 부분문제 균형도를 고려한 트레이드오프 분석을 통해 각 비용 측정 기준에 최적의 피봇 기울기를 도출한다.
• 고전적 퀵정렬 변종 및 이전의 실험적 관찰 결과와의 비교를 통해 발견된 결과를 검증한다.

실험 결과

연구 질문

• RQ1 Yaroslavskiy의 이중피봇 퀵정렬이 비교 횟수가 더 많음에도 불구하고 실질적으로 고전적 단일피봇 퀵정렬보다 뛰어나게 성능을 내는 이유는 무엇인가?
• RQ2 특히, 샘플에서 비대칭적인 순서 통계량을 선택하는 피봇 샘플링 방식이 이중피봇 퀵정렬의 성능에 어떤 영향을 미치는가?
• RQ3 비교, 스왑, 바이트코드, 스캔된 요소 수 중에서 Yaroslavskiy 알고리즘의 실질적 성능 우월성을 가장 잘 설명하는 비용 측정 기준은 무엇인가?
• RQ4 분석한 네 가지 비용 측정 기준(비교, 스왑, 바이트코드, 스캔된 요소 수)을 최소화하기 위해 최적의 피봇 샘플링 전략(순서 통계량 기준)은 무엇인가?
• RQ5 스캔된 요소 수가 실제 I/O 성능과 캐시 효율성과 얼마나 관련이 깊은가?

주요 결과

• Yaroslavskiy의 이중피봇 퀵정렬은 평균적으로 1.4035n ln n개의 스캔된 요소를 필요로 하며, 고전적 퀵정렬의 1.5697n ln n보다 훨씬 적어, 이는 I/O 효율성이 뛰어나다는 것을 설명한다.
• 삼분위수(5개의 중앙값)를 대칭적으로 선택하는 전략은 최적적이지 않으며, 피봇 선택에 의 intensional 기울임을 통해 스캔된 요소 수와 총 비용을 줄일 수 있다.
• 스캔된 요소 수는 성능 차이를 강력하게 예측할 수 있으며, Yaroslavskiy 알고리즘은 이 측정 기준에서 고전적 퀵정렬 대비 12%의 절감을 이룬다.
• 모든 비용 측정 기준에서 최적의 피봇 샘플링은 대칭적인 중앙값(예: 3개의 중앙값 또는 5개의 삼분위수)이 아닌, 비대칭적인 순서 통계량을 포함한다.
• Yaroslavskiy 알고리즘의 성능 우월성은 비교 횟수 때문이 아니라 메모리 액세스 패턴이 줄어들기 때문이다.
• 분석 결과 현대 하드웨어 트렌드가 메모리 계층 구조 연산을 최소화하는 알고리즘을 선호함을 확인하였으며, 이는 Yaroslavskiy 알고리즘이 현재 시스템에서 성공할 수 있는 이유를 설명한다.