[논문 리뷰] Analysis of Branch Misses in Quicksort

Conrado Martı́nez, Markus E. Nebel외 1명|PUB – Publications at Bielefeld University (Bielefeld University)|2014. 11. 07.

Parallel Computing and Optimization Techniques참고 문헌 16인용 수 9

한 줄 요약

이 논문은 고전적 및 双피봇 퀵정렬에서의 분기 잘못 예측에 대한 최초의 분석적 연구를 제공하며, 비교(BC)와 분기 잘못 예측(BM)을 조합한 선형 비용 함수를 통해 그 영향을 모델링한다. 분기 잘못 예측만으로는 요로스라브스키의 이중피봇 퀵정렬 성능 우월성을 설명할 수 없음을 보여주며, 메모리 계층 구조의 영향이 더 중요하다고 시사하고, 다양한 분기 예측 모델 하에서 유한한 표본 크기의 최적 샘플링 전략을 유도한다.

ABSTRACT

The analysis of algorithms mostly relies on counting classic elementary operations like additions, multiplications, comparisons, swaps etc. This approach is often sufficient to quantify an algorithm's efficiency. In some cases, however, features of modern processor architectures like pipelined execution and memory hierarchies have significant impact on running time and need to be taken into account to get a reliable picture. One such example is Quicksort: It has been demonstrated experimentally that under certain conditions on the hardware the classically optimal balanced choice of the pivot as median of a sample gets harmful. The reason lies in mispredicted branches whose rollback costs become dominating. In this paper, we give the first precise analytical investigation of the influence of pipelining and the resulting branch mispredictions on the efficiency of (classic) Quicksort and Yaroslavskiy's dual-pivot Quicksort as implemented in Oracle's Java 7 library. For the latter it is still not fully understood why experiments prove it 10% faster than a highly engineered implementation of a classic single-pivot version. For different branch prediction strategies, we give precise asymptotics for the expected number of branch misses caused by the aforementioned Quicksort variants when their pivots are chosen from a sample of the input. We conclude that the difference in branch misses is too small to explain the superiority of the dual-pivot algorithm.

연구 동기 및 목표

• 유한한 표본 크기와 다양한 분기 예측 전략 하에서 고전적 퀵정렬(CQS)과 이중피봇 퀵정렬(YQS)의 기대 분기 잘못 예측 수를 정확히 분석하기 위해.
• 요로스라브스키의 이중피봇 퀵정렬이 자바 7에서 고전적 퀵정렬보다 10% 성능 향상을 보이는 데 기인한 분기 잘못 예측이 그 이유가 될 수 있는지 평가하기 위해.
• 비교(BC)와 분기 잘못 예측(BM)을 조합한 비용 모델(BC + ξ·BM) 하에서 두 알고리즘에 대한 최적 샘플링 파라미터(t*)를 유도하기 위해.
• 간단한 프로세서 동작 가정에도 불구하고 실제 성능 추세를 잘 반영하는 정량적 모델을 제공하기 위해.
• 요로스라브스키의 우월성에 대해 분기 잘못 예측를 주요 원인으로 배제하고, 메모리 계층 구조 가설을 지지하기 위해.

제안 방법

• 분기 잘못 예측 비용을 비교(BC)와 분기 잘못 예측(BM)의 선형 조합으로 모델링하며, ξ로 매개변수화한다.
• 유한한 표본 크기 k에서의 피벗 선택을 고려한 고전적 퀵정렬(CQS)과 요로스라브스키의 이중피봇 퀵정렬(YQS)을 분석한다.
• 1비트, 2비트 고정 보완(fixed-complement, fc), 2비트 포화 카운터(saturating counter, sc) 예측 전략에 따른 기대 분기 잘못 예측 수에 대한 渐近적 표현을 유도한다.
• 비용 함수 BC + ξ·BM를 최소화함으로써 유한한 k에 대한 최적 샘플링 위치 t*를 계산하며, 다양한 하드웨어의 트레이드오프를 반영하기 위해 ξ를 변화시킨다.
• 칼리고시와 샌더스의 실험 데이터와 분석 결과를 비교하여, 현실적인 조건에서 모델의 정확성을 검증한다.
• t* / k의 정규화된 플롯을 사용하여, 다양한 k와 예측 모델에 대해 최적 샘플링 편향이 ξ에 따라 어떻게 변하는지 시각화한다.

실험 결과

연구 질문

• RQ1 분기 잘못 예측만으로 요로스라브스키의 이중피봇 퀵정렬이 고전적 퀵정렬보다 10% 빠른 성능 향상을 설명할 수 있는가?
• RQ2 비교와 분기 잘못 예측의 병합 비용 모델 하에서 고전적 및 이중피봇 퀵정렬의 최적 샘플링 전략(t*)은 무엇인가?
• RQ3 다양한 분기 예측 전략에서 분기 잘못 예측의 상대 비용(ξ)에 따라 최적 샘플링 편향(t*)은 어떻게 변화하는가?
• RQ4 분기 잘못 예측 비용이 높을 경우, 요로스라브스키 알고리즘에 대해 대칭적 샘플링이 여전히 최적인가?
• RQ5 모델이 예측하는 최적 피벗 선택(τ*)은 실제 프로세서에서의 실험 관측과 어느 정도 일치하는가?

주요 결과

• 분석 결과, 분기 잘못 예측만으로는 요로스라브스키의 10% 성능 향상 원인을 설명할 수 없음을 보여주며, CQS와 YQS 간의 BM 수 차이가 너무 작기 때문이다.
• 고전적 퀵정렬의 경우, 분기 잘못 예측 비용(ξ)이 증가할수록 최적 샘플링이 점점 더 비대칭적으로 변하며, t*는 ξ가 증가함에 따라 (k-1)/2에서 0으로 감소한다.
• 요로스라브스키의 이중피봇 퀵정렬의 경우, ξ=0(분기 잘못 예측 비용 없음)일지라도 최적 샘플링 파라미터는 대칭적이지 않으며, τ* ≈ (0.207, 0.349, 0.445)로 대칭 샘플링 대비 기대 바이트코드 수를 3.6% 감소시킨다.
• 모델은 펜티엄 4에서 실험적으로 관측된 결과와 잘 일치하는 최적 피벗 선택(τ*)을 예측한다. 2비트 고정 보완 예측 하에서 τ* ≈ 1/10 가 최적임이 확인되었다.
• 유한한 k에 대해 최적 샘플링 위치 t*는 ξ 증가에 따라 단조 감소하며, 각 예측 전략에 대해 한 값에서 다음 값으로의 전이점은 정확히 계산할 수 있다.
• 간단한 모델이지만 BC + ξ·BM는 특히 ξ가 30~80 범위일 때 현대 프로세서의 분기 예측 비용과 대응하여 실제 하드웨어의 핵심 성능 추세를 잘 반영한다.