[论文解读] An Empirical Study of Cache-Oblivious Priority Queues and their Application to the Shortest Path Problem

Benjamin Sach, Raphaël Clifford|ArXiv.org|Feb 7, 2008

Complexity and Algorithms in Graphs参考文献 18被引用 5

一句话总结

本文评估了缓存无关优先队列——特别是漏斗堆（Funnel Heap）和桶堆（Bucket Heap）——在主内存无法容纳的大规模图上运行戴克斯特拉最短路径算法时的性能。结果表明，当数据被交换到外部存储时，这些缓存无关结构相比标准二叉堆可实现显著的加速（最高达数量级），但在真实图上性能提升因邻接表访问开销过高而减弱。

ABSTRACT

In recent years the Cache-Oblivious model of external memory computation has provided an attractive theoretical basis for the analysis of algorithms on massive datasets. Much progress has been made in discovering algorithms that are asymptotically optimal or near optimal. However, to date there are still relatively few successful experimental studies. In this paper we compare two different Cache-Oblivious priority queues based on the Funnel and Bucket Heap and apply them to the single source shortest path problem on graphs with positive edge weights. Our results show that when RAM is limited and data is swapping to external storage, the Cache-Oblivious priority queues achieve orders of magnitude speedups over standard internal memory techniques. However, for the single source shortest path problem both on simulated and real world graph data, these speedups are markedly lower due to the time required to access the graph adjacency list itself.

研究动机与目标

• 评估缓存无关优先队列在数据无法装入主内存的外部内存环境下的实际性能。
• 在戴克斯特拉最短路径算法的背景下，将两种缓存无关优先队列设计——漏斗堆与桶堆——与标准二叉堆进行比较。
• 研究外部内存I/O对算法性能的影响，特别是缓存无关数据结构与图数据访问模式之间的权衡。
• 评估现实图的稀疏性与内存大小对这些优先队列相对性能的影响。

提出的方法

• 实现漏斗堆与桶堆作为缓存无关优先队列，其插入、删除最小值和键值减小操作具有最优或近似最优的I/O复杂度。
• 将这些数据结构应用于戴克斯特拉单源最短路径算法，实验对象包括合成的埃拉托斯特尼随机图（Erdős–Rényi random graphs）和来自DIMACS挑战的真实道路网络图。
• 使用STXXL库模拟外部内存行为，并测量I/O操作次数与执行时间。
• 通过改变问题规模（最大600万个顶点）和内部内存大小（最大1024 MB）进行实验，以隔离内存层次结构的影响。
• 以总执行时间和I/O等待占比来衡量性能，量化外部内存访问的影响。
• 修改戴克斯特拉算法以处理漏斗堆缺乏原生减键操作的问题，导致堆大小为O(E)而非O(V)。

实验结果

研究问题

• RQ1 在外部内存中处理最短路径问题时，如漏斗堆与桶堆这样的缓存无关优先队列相较于二叉堆表现如何？
• RQ2 在处理无法装入主内存的大规模图时，缓存无关数据结构在多大程度上减少了I/O开销？
• RQ3 尽管理论I/O复杂度有利，为何实际性能加速会减弱，尤其是在真实图上？
• RQ4 现实图的稀疏性如何影响缓存无关优先队列相对于合成图的相对性能？
• RQ5 这些数据结构的性能对内部内存大小的变化有多敏感？

主要发现

• 对于小规模问题，由于更复杂数据结构的常数因子开销较高，二叉堆的表现优于两种缓存无关结构。
• 在16 MB内存和120万个元素的情况下，二叉堆耗时超过4小时（I/O等待占比99%），而漏斗堆和桶堆分别在4分钟和10分钟内完成。
• 在约100万个顶点的随机图上，二叉堆的运行时间增加了约5.8倍，而漏斗堆和桶堆表现出更好的可扩展性。
• 在真实稀疏道路网络上，漏斗堆优于二叉堆和桶堆，尤其得益于其O(E)元素存储带来的更低开销。
• 仅使用2 MB内存的漏斗堆优于使用1024 MB内存的桶堆，表明其在内存层次结构上的高效性。
• 在更大图上，由于漏斗堆的O(E)堆大小导致I/O成本增加，尽管其渐近I/O复杂度更优，桶堆与漏斗堆的性能差距缩小。