[论文解读] Parallel Ordered Sets Using Join

Guy E. Blelloch, Daniel Ferizovic+1 more|arXiv (Cornell University)|Feb 5, 2016

Logic, programming, and type systems参考文献 27被引用 10

一句话总结

本文提出了一种工作高效且高度并行的框架，通过在四种平衡策略——AVL、红黑树、权重平衡树和锦标赛树（treaps）上使用通用的Join操作，实现有序集合。通过证明Adams的基于Join的算法达到最优工作复杂度和亚对数深度，作者展示了这些算法在渐近意义上是最优且高度可扩展的，在数据分布偏斜、重叠度低的情况下优于现有库，且在64个核心上实现了45倍的加速。

ABSTRACT

The ordered set is one of the most important data type in both theoretical algorithm design and analysis and practical programming. In this paper we study the set operations on two ordered sets, including Union, Intersect and Difference, based on four types of balanced Binary Search Trees (BST) including AVL trees, red-black trees, weight balanced trees and treaps. We introduced only one subroutine Join that needs to be implemented differently for each balanced BST, and on top of which we can implement generic, simple and efficient parallel functions for ordered sets. We first prove the work-efficiency of these Join-based set functions using a generic proof working for all the four types of balanced BSTs. We also implemented and tested our algorithm on all the four balancing schemes. Interestingly the implementations on all four data structures and three set functions perform similarly in time and speedup (more than 45x on 64 cores). We also compare the performance of our implementation to other existing libraries and algorithms.

研究动机与目标

• 证明Adams的基于Join的集合操作算法在多种平衡二叉树方案中均具有工作最优性且高度并行。
• 建立一个通用框架，仅需一个特定于树类型的Join函数，实现不同平衡策略间的复用。
• 在现代多核系统上评估该框架的实际性能，特别是在数据分布偏斜的情况下。
• 在串行与并行环境下，将所提出的实现与现有库（如STL、MCSTL和WBB-tree实现）进行比较。

提出的方法

• 作者定义了一套基于秩的不变式系统，确保在不同树类型中，Join操作能保持平衡性和工作高效性。
• 他们证明了Join操作的代价与输入树秩的差值成正比，且结果秩被限制在较大输入秩的常数倍以内。
• 该框架使用一个单一的通用Join函数作为核心原语，其余所有操作（并集、交集、差集、分割）均通过递归调用Join和并行组合实现。
• 该实现针对四种平衡策略（AVL、红黑树、权重平衡树、锦标赛树）进行了评估，除Join外的所有代码在不同策略间保持通用。
• 性能在不同数据分布（均匀分布和高斯分布）及核心数量（最高达64个）下进行测量，并与STL、MCSTL和WBB-tree实现进行比较。
• 分析包括对工作最优性的理论证明，以及在真实硬件上对加速比和性能的实证评估。

实验结果

研究问题

• RQ1 Adams的基于Join的有序集合算法在多种平衡二叉树方案中是否具有工作最优性且高度并行？
• RQ2 基于单一Join函数的通用框架是否能在不同平衡策略中实现最优工作复杂度和亚对数深度？
• RQ3 所提出的框架在不同重叠程度的数据上，与现有库（STL、MCSTL、WBB-tree）相比性能如何？
• RQ4 该框架是否表现出自适应行为，在低重叠数据分布中性能更优？
• RQ5 该框架在现代多核系统上的实际并行可扩展性如何？

主要发现

• 所提出的基于Join的算法在四种平衡策略——AVL、红黑树、权重平衡树和锦标赛树中，被证明具有工作最优性，并实现亚对数深度。
• 该框架在64个核心上实现了45倍加速，展现出强大的并行可扩展性。
• 在10^8个元素的映射上，该实现的串行并集操作比STL的红黑树快3倍。
• 在低重叠数据（均值为0和1，σ=1/16的高斯分布）下，由于对不相交集合的自适应性能，该框架优于MCSTL和WBB-tree实现。
• MCSTL在超过16个核心后并行性表现差，而所提出的框架和WBB-tree保持强可扩展性，且在低重叠数据上，本方法显著更快。
• 该框架在偏斜数据上的性能优势源于更少的节点被处理，因为重叠较少导致更多子树未被修改，Join操作也更少。