[论文解读] Analysis of Pivot Sampling in Dual-Pivot Quicksort

Sebastian Wild, Markus E. Nebel+1 more|arXiv (Cornell University)|Nov 30, 2014

Parallel Computing and Optimization Techniques被引用 7

一句话总结

本文分析了 Yaroslavskiy 双枢轴快速排序中的枢轴采样，表明与对称采样相比，通过从样本中选择偏斜的顺序统计量（即非对称枢轴选择）能更有效地减少元素扫描次数和 I/O 操作。主要贡献在于一项全面的成本分析，揭示了 Yaroslavskiy 算法之所以优于经典快速排序，主要归因于其对内存层次结构的更优利用，而非比较次数的减少。

ABSTRACT

The new dual-pivot Quicksort by Vladimir Yaroslavskiy - used in Oracle's Java runtime library since version 7 - features intriguing asymmetries. They make a basic variant of this algorithm use less comparisons than classic single-pivot Quicksort. In this paper, we extend the analysis to the case where the two pivots are chosen as fixed order statistics of a random sample. Surprisingly, dual-pivot Quicksort then needs more comparisons than a corresponding version of classic Quicksort, so it is clear that counting comparisons is not sufficient to explain the running time advantages observed for Yaroslavskiy's algorithm in practice. Consequently, we take a more holistic approach and give also the precise leading term of the average number of swaps, the number of executed Java Bytecode instructions and the number of scanned elements, a new simple cost measure that approximates I/O costs in the memory hierarchy. We determine optimal order statistics for each of the cost measures. It turns out that the asymmetries in Yaroslavskiy's algorithm render pivots with a systematic skew more efficient than the symmetric choice. Moreover, we finally have a convincing explanation for the success of Yaroslavskiy's algorithm in practice: Compared with corresponding versions of classic single-pivot Quicksort, dual-pivot Quicksort needs significantly less I/Os, both with and without pivot sampling.

研究动机与目标

• 理解为何 Yaroslavskiy 的双枢轴快速排序在实践中优于经典单枢轴快速排序，尽管其比较次数更高。
• 分析枢轴采样策略（特别是从样本中选择非对称顺序统计量）对整体算法成本的影响。
• 通过评估比较次数以外的多种成本度量（包括交换次数、字节码指令数和扫描元素数），识别最优的枢轴采样方案。
• 在现实成本模型下，对双枢轴快速排序的性能权衡进行全面、整体的分析。

提出的方法

• 分析在不同枢轴采样策略下 Yaroslavskiy 的非对称分区方案，其中枢轴作为常数大小样本中固定顺序统计量被选取。
• 推导出四种成本度量的精确渐近主导项表达式：关键比较次数、交换次数、Java 字节码指令数和扫描元素数。
• 引入“扫描元素”作为新的成本度量，用于近似外部内存模型中的 I/O 操作和缓存未命中。
• 使用解析组合学和生成函数来建模分区过程及递归子问题规模的行为。
• 对分区成本与子问题平衡性之间的权衡进行分析，以确定每种成本度量的最优枢轴偏斜度。
• 通过与经典快速排序变体及先前经验观察结果的对比，验证研究发现。

实验结果

研究问题

• RQ1 为何 Yaroslavskiy 的双枢轴快速排序在实践中优于经典单枢轴快速排序，尽管其比较次数更高？
• RQ2 枢轴采样（特别是从样本中选择非对称顺序统计量）如何影响双枢轴快速排序的性能？
• RQ3 在比较次数、交换次数、字节码指令数和扫描元素数中，哪一成本度量最能解释 Yaroslavskiy 算法的实际性能优势？
• RQ4 为最小化所分析的四种成本度量，最优的枢轴采样策略（以顺序统计量表示）是什么？
• RQ5 扫描元素数量在多大程度上与实际 I/O 性能和缓存效率相关？

主要发现

• Yaroslavskiy 的双枢轴快速排序平均仅需 1.4035n ln n 次扫描元素，显著低于经典快速排序的 1.5697n ln n，这解释了其优越的 I/O 效率。
• 对称选择三分位数（五数中位数）并非最优；有意的枢轴选择偏斜可减少扫描元素数和整体成本。
• 扫描元素数量是性能差异的强预测指标，Yaroslavskiy 算法在此度量上比经典快速排序节省 12%。
• 对于所有成本度量，最优的枢轴采样均涉及非对称顺序统计量，而非对称的三数中位数或三分位数选择。
• Yaroslavskiy 算法的性能优势主要源于更少的内存访问模式，而非比较次数的减少。
• 该分析证实，现代硬件趋势有利于最小化内存层次结构操作的算法，从而解释了 Yaroslavskiy 算法在当前系统中的成功。