[论文解读] Analysis of Branch Misses in Quicksort

Conrado Martı́nez, Markus E. Nebel+1 more|PUB – Publications at Bielefeld University (Bielefeld University)|Nov 7, 2014

Parallel Computing and Optimization Techniques参考文献 16被引用 9

一句话总结

本文首次对经典快速排序与双枢纽快速排序中的分支预测错误进行了分析研究，通过结合比较次数（BC）与分支错误次数（BM）的线性成本函数建模其影响。研究发现，仅靠分支预测错误无法解释 Yaroslavskiy 双枢纽快速排序的性能优势，表明内存层次结构的影响更为关键，并在不同分支预测模型下推导出有限样本大小下的最优采样策略。

ABSTRACT

The analysis of algorithms mostly relies on counting classic elementary operations like additions, multiplications, comparisons, swaps etc. This approach is often sufficient to quantify an algorithm's efficiency. In some cases, however, features of modern processor architectures like pipelined execution and memory hierarchies have significant impact on running time and need to be taken into account to get a reliable picture. One such example is Quicksort: It has been demonstrated experimentally that under certain conditions on the hardware the classically optimal balanced choice of the pivot as median of a sample gets harmful. The reason lies in mispredicted branches whose rollback costs become dominating. In this paper, we give the first precise analytical investigation of the influence of pipelining and the resulting branch mispredictions on the efficiency of (classic) Quicksort and Yaroslavskiy's dual-pivot Quicksort as implemented in Oracle's Java 7 library. For the latter it is still not fully understood why experiments prove it 10% faster than a highly engineered implementation of a classic single-pivot version. For different branch prediction strategies, we give precise asymptotics for the expected number of branch misses caused by the aforementioned Quicksort variants when their pivots are chosen from a sample of the input. We conclude that the difference in branch misses is too small to explain the superiority of the dual-pivot algorithm.

研究动机与目标

• 在有限采样和各种分支预测策略下，精确分析经典快速排序（CQS）与双枢纽快速排序（YQS）的预期分支错误次数。
• 评估分支预测错误是否能够解释 Java 7 中 Yaroslavskiy 双枢纽快速排序相比经典快速排序的 10% 性能提升。
• 在比较与分支错误的联合成本模型（BC + ξ·BM）下，推导经典与双枢纽快速排序的最优采样参数（t*）。
• 提供一个定量模型，尽管对处理器行为做了简化假设，但仍能捕捉真实世界中的性能趋势。
• 排除分支预测错误作为 Yaroslavskiy 优势的主要解释，支持内存层次结构假设。

提出的方法

• 使用比较次数（BC）与分支错误次数（BM）的线性组合建模分支预测错误成本，参数为 ξ。
• 分析从大小为 k 的有限样本中选取枢纽的经典快速排序（CQS）与 Yaroslavskiy 的双枢纽快速排序（YQS）。
• 推导不同分支预测策略下的预期分支错误次数的渐近表达式：1位、2位固定互补（fc）与2位饱和计数器（sc）。
• 通过最小化成本函数 BC + ξ·BM，计算有限 k 下的最优采样位置 t*，并调整 ξ 以反映不同硬件的权衡。
• 将分析结果与 Kaligosi 和 Sanders 的实验数据进行比较，验证模型在真实条件下的准确性。
• 使用 t* / k 的归一化图可视化不同 k 值与预测模型下最优采样偏移随 ξ 的变化。

实验结果

研究问题

• RQ1 分支预测错误是否足以解释 Yaroslavskiy 双枢纽快速排序相比经典快速排序的 10% 性能提升？
• RQ2 在比较与分支错误的联合成本模型下，经典与双枢纽快速排序的最优采样策略（t*）是什么？
• RQ3 对于不同分支预测策略，最优采样偏移（t*）如何随分支预测错误成本（ξ）的变化而变化？
• RQ4 当分支预测错误成本较高时，Yaroslavskiy 算法是否仍以对称采样为最优？
• RQ5 该模型对最优枢纽选择（τ*）的预测在多大程度上与真实处理器上的实验观察一致？

主要发现

• 分析表明，仅靠分支预测错误无法解释 Yaroslavskiy 的 10% 性能提升，因为 CQS 与 YQS 之间的 BM 差异过小。
• 对于经典快速排序，随着分支预测错误成本（ξ）的增加，最优采样逐渐变得不对称（t* 减小），当 ξ 增大时，t* 从 (k-1)/2 降至 0。
• 对于 Yaroslavskiy 的双枢纽快速排序，即使在 ξ=0（无分支预测错误成本）时，最优采样参数仍为非对称：τ* ≈ (0.207, 0.349, 0.445)，相比对称采样可将预期字节码减少 3.6%。
• 该模型预测的最优枢纽选择（τ*）与 Pentium 4 上的实验观察高度一致，其中在 2 位固定互补预测下，τ* ≈ 1/10 被发现为最优。
• 有限 k 下的最优采样位置 t* 随 ξ 增加单调递减，且对每种预测策略，从一个 t* 值过渡到下一个的临界点可被精确计算。
• 尽管模型简单，BC + ξ·BM 仍能捕捉真实硬件中的关键性能趋势，尤其当 ξ 落在 30–80 范围内时，对应典型现代处理器的分支预测成本。