[论文解读] Merge Path - A Visually Intuitive Approach to Parallel Merging

Oded Green, Saher Odeh+1 more|arXiv (Cornell University)|Jun 10, 2014

Parallel Computing and Optimization Techniques参考文献 13被引用 10

一句话总结

本文提出了合并路径算法（Merge Path），一种通过将合并过程建模为网格上的路径，实现两组已排序数组并行合并的视觉直观方法，从而实现负载均衡、无同步且缓存高效的并行合并。该方法在共享内存系统上实现了接近线性的加速比，并支持高效的缓存感知排序，尤其适用于Plurality的HyperCore等架构。

ABSTRACT

Merging two sorted arrays is a prominent building block for sorting and other functions. Its efficient parallelization requires balancing the load among compute cores, minimizing the extra work brought about by parallelization, and minimizing inter-thread synchronization requirements. Efficient use of memory is also important. We present a novel, visually intuitive approach to partitioning two input sorted arrays into pairs of contiguous sequences of elements, one from each array, such that 1) each pair comprises any desired total number of elements, and 2) the elements of each pair form a contiguous sequence in the output merged sorted array. While the resulting partition and the computational complexity are similar to those of certain previous algorithms, our approach is different, extremely intuitive, and offers interesting insights. Based on this, we present a synchronization-free, cache-efficient merging (and sorting) algorithm. While we use a shared memory architecture as the basis, our algorithm is easily adaptable to additional architectures. In fact, our approach is even relevant to cache-efficient sequential sorting. The algorithms are presented, along with important cache-related insights.

研究动机与目标

• 解决在共享内存架构中高效且正确地并行化两个已排序数组合并的挑战。
• 最小化并行合并操作中的负载不平衡、线程间同步与内存开销。
• 设计一种缓存高效的合并算法，以减少高性能排序中内存访问瓶颈。
• 通过基于几何路径遍历的直观输入数组划分，实现高效的并行排序。
• 在现代并行架构（包括核心数量庞大且具备共享缓存的系统）上展示其适用性与性能提升。

提出的方法

• 将合并过程建模为从左上角到右下角的网格路径，每一步对应从两个输入数组之一选择一个元素。
• 利用合并路径将两个输入数组划分为连续的段，使得对应段的合并能产生正确的已排序输出。
• 通过在交叉对角线上使用二分查找并行计算路径上的划分点，确保核心间负载均衡。
• 设计一种无锁、无同步的算法，在私有缓存与共享缓存架构上均能保持高缓存效率，避免虚假共享。
• 将基础算法扩展为分段版本，通过减少缓存冲突，提升在直接映射缓存上的性能。
• 通过基于任务的编程模型，将算法适配至PRAM及现代多核系统（如Plurality的HyperCore）等多种架构。

实验结果

研究问题

• RQ1 如何将两个已排序数组划分为若干段，使得对应段的合并能产生单一已排序数组，同时确保并行核心间的负载均衡？
• RQ2 何种几何或视觉表示可简化并行合并算法的设计与理解？
• RQ3 如何优化内存访问模式，以减少并行合并中的缓存未命中与一致性开销？
• RQ4 无同步、负载均衡的合并算法在现代多核系统上能在多大程度上实现接近线性的加速比？
• RQ5 该算法的分段变体在缓存受限或直接映射缓存系统上如何提升性能？

主要发现

• 合并路径方法通过将合并过程建模为网格上的路径遍历，实现了正确、负载均衡且无同步的并行合并。
• 该算法在不同输入大小下，于最多16个核心上实现了接近线性的加速比，仅在32个核心时因共享内存竞争出现性能下降。
• 分段版本在直接映射缓存上表现出更优性能，减少了缓存冲突并提升了吞吐量。
• 在Plurality HyperCore FPGA原型上，该算法的低线程调度延迟使其即使在小规模输入数组上也能高效执行，显著降低开销。
• 该算法的缓存高效变体显著减少了内存子系统瓶颈，使其适用于内存受限工作负载的高性能排序。
• 合并路径的几何洞察为理解与实现并行合并算法提供了清晰直观的基础，有助于教学与实际实现。