[论文解读] Fast Sorting Algorithms using AVX-512 on Intel Knights Landing

Bérenger Bramas|arXiv (Cornell University)|Apr 24, 2017

Parallel Computing and Optimization Techniques被引用 18

一句话总结

本文提出了一种针对英特尔至强融核（Intel Knights Landing）处理器优化的高性能原地排序算法，利用AVX-512指令集。该算法将无分支的Bitonic排序用于小规模子数组，并结合向量化分区内核以加速快速排序，在整数和双精度浮点数数据类型上，相较于GNU C++ std::sort，最高可实现4倍的性能提升。

ABSTRACT

This paper describes fast sorting techniques using the recent AVX-512 instruction set. Our implementations benefit from the latest possibilities offered by AVX-512 to vectorize a two-parts hybrid algorithm: we sort the small arrays using a branch-free Bitonic variant, and we provide a vectorized partitioning kernel which is the main component of the well-known Quicksort. Our algorithm sorts in-place and is straightforward to implement thanks to the new instructions. Meanwhile, we also show how an algorithm can be adapted and implemented with AVX-512. We report a performance study on the Intel KNL where our approach is faster than the GNU C++ sort algorithm for any size in both integer and double floating-point arithmetics by a factor of 4 in average.

研究动机与目标

• 设计一种利用英特尔至强融核处理器最新AVX-512指令集的快速、原地排序算法。
• 通过使用AVX-512指令向量化分区阶段，提升快速排序的性能。
• 利用专为AVX-512设计的无分支Bitonic排序网络，高效处理小规模子数组。
• 在现代x86-64处理器上，展示先进向量化排序技术的实用且直接的实现方法。

提出的方法

• 该算法采用混合策略：使用针对512位寄存器优化的无分支Bitonic排序变体对小规模子数组进行排序。
• 通过AVX-512指令实现向量化分区内核，每条指令级操作可处理16个整数或双精度浮点数。
• 分区内核通过AVX-512中的gather-scatter操作和比较交换指令，实现高效的原地排序。
• 整体快速排序框架利用向量化分区内核，减少数据移动并提升指令级并行性。
• 实现避免复杂的内存访问模式，依赖AVX-512的宽寄存器和高级控制指令以提升性能。

实验结果

研究问题

• RQ1 AVX-512指令如何被有效用于加速快速排序的分区阶段？
• RQ2 在现代x86-64处理器上，无分支Bitonic排序在512位向量单元上可优化到何种程度？
• RQ3 结合向量化分区与小数组Bitonic排序的混合排序方法，是否能超越标准库实现？
• RQ4 在英特尔至强融核处理器上，AVX-512优化排序相较于GNU C++ std::sort，在不同数据类型上的性能提升如何？

主要发现

• 所提出的AVX-512优化排序算法在英特尔至强融核处理器上，相较于GNU C++ std::sort，平均性能提升达4倍。
• 在整数和双精度浮点数排序工作负载中，该算法在所有输入规模下均优于GNU C++ std::sort。
• 向量化分区内核显著减少了内存访问次数，并提升了指令级并行性。
• 针对小规模子数组的无分支Bitonic变体减少了流水线停顿，并提升了AVX-512处理器的缓存效率。