[论文解读] Engineering DFS-Based Graph Algorithms

Kurt Mehlhorn, Stefan Näher+1 more|arXiv (Cornell University)|Mar 29, 2017

Graph Theory and Algorithms参考文献 10被引用 5

一句话总结

本文提出针对基于DFS的图算法的优化技术，重点聚焦于强连通分量（SCC）的计算。通过叠加节点数据结构并使用边栈以减少缓存未命中，作者在LEDA和BOOST实现的基础上实现了2倍至3倍的性能提升，且在双连通分量算法中也获得了相似的性能增益。

ABSTRACT

Depth-first search (DFS) is the basis for many efficient graph algorithms. We introduce general techniques for the efficient implementation of DFS-based graph algorithms and exemplify them on three algorithms for computing strongly connected components. The techniques lead to speed-ups by a factor of two to three compared to the implementations provided by LEDA and BOOST. We have obtained similar speed-ups for biconnected components algorithms. We also compare the graph data types of LEDA and BOOST.

研究动机与目标

• 解决基于DFS的图算法在理论线性时间复杂度与实际运行时间之间的性能差距。
• 识别现有库（LEDA和BOOST）在实现层面的性能瓶颈，这些瓶颈尽管算法高效，但仍限制了最佳性能的发挥。
• 开发并评估通用的工程优化技术，以显著提升现代架构上基于DFS算法的运行时间。
• 在多种算法（包括SCC与双连通分量）上展示这些技术的有效性，以证明其广泛适用性。

提出的方法

• 通过将多个节点标签（例如：未访问、已访问、已完成）合并为单个整数字段，叠加节点数据结构，以减少内存占用并最小化缓存未命中。
• 将邻接数组的随机访问替换为基于栈的边遍历机制，将每个节点的随机内存访问次数从两次减少为一次。
• 实现非递归版本的DFS以减少函数调用开销，尽管该方法仅带来微小的性能提升。
• 使用静态图表示（单个连续边数组）代替动态链表，以改善内存局部性并减少缓存未命中。
• 系统性地将这些优化应用于三种SCC算法：Tarjan算法、Cheriyan-Mehlhorn-Gabow算法与Kosaraju-Sharir算法。
• 在不同图表示（LEDA静态、LEDA动态、BGL）之间进行性能对比，以隔离数据结构选择的影响。

实验结果

研究问题

• RQ1 低层次的实现选择（如内存布局与访问模式）如何影响基于DFS的图算法的运行时间？
• RQ2 通过重新组织节点数据存储以减少缓存未命中，性能最多可提升多少？
• RQ3 在现代处理器上，减少DFS遍历过程中的随机内存访问次数是否能带来可测量的性能增益？
• RQ4 不同的图数据结构（静态与动态）如何影响基于DFS的算法性能？
• RQ5 所提出的优化技术是否可推广至SCC算法之外的其他基于DFS的问题（如双连通分量或拓扑排序）？

主要发现

• 叠加节点数据结构使Tarjan算法与CMG算法的运行时间均减少约两倍。
• 引入边栈在节点数据叠加的基础上额外减少了约10%的运行时间，这是由于DFS遍历过程中缓存未命中的减少。
• 非递归实现仅带来微小的性能提升，表明函数调用开销并非主要性能瓶颈。
• LEDA的静态图表示优于BGL以及LEDA的动态图，因其具有更好的内存局部性与更小的内存占用。
• 经过调优的Tarjan算法与CMG算法已接近最优性能，其运行时间接近简单DFS扫描的下限。
• 相同的优化技术在双连通分量算法中也实现了相似的性能提升（2倍至3倍），证实了其在基于DFS的图算法中的广泛适用性。