[论文解读] k-way Hypergraph Partitioning via n-Level Recursive Bisection

Sebastian Schlag, Vitali Henne+4 more|arXiv (Cornell University)|Nov 10, 2015

VLSI and FPGA Design Techniques参考文献 41被引用 6

一句话总结

本文提出 KaHyPar，一种新颖的 k 路超图划分算法，采用 n 级递归二分法——逐个收缩顶点——以实现更优的解质量与性能。通过利用先进的缓存机制、惰性求值、基于组合的初始划分器以及优化的超图数据结构，KaHyPar 在切割大小和运行时间方面均优于 hMetis 和 PaToH，尤其在社交网络和 10% 不平衡容忍度下表现更优。

ABSTRACT

We develop a multilevel algorithm for hypergraph partitioning that contracts the vertices one at a time. Using several caching and lazy-evaluation techniques during coarsening and refinement, we reduce the running time by up to two-orders of magnitude compared to a naive $n$-level algorithm that would be adequate for ordinary graph partitioning. The overall performance is even better than the widely used hMetis hypergraph partitioner that uses a classical multilevel algorithm with few levels. Aided by a portfolio-based approach to initial partitioning and adaptive budgeting of imbalance within recursive bipartitioning, we achieve very high quality. We assembled a large benchmark set with 310 hypergraphs stemming from application areas such VLSI, SAT solving, social networks, and scientific computing. We achieve significantly smaller cuts than hMetis and PaToH, while being faster than hMetis. Considerably larger improvements are observed for some instance classes like social networks, for bipartitioning, and for partitions with an allowed imbalance of 10%. The algorithm presented in this work forms the basis of our hypergraph partitioning framework KaHyPar (Karlsruhe Hypergraph Partitioning).

研究动机与目标

• 通过探索极端的 n 级粗化策略，解决多级超图划分中解质量与运行时间之间的权衡问题。
• 通过优化的数据结构与缓存技术，克服朴素 n 级算法的性能瓶颈。
• 在现实的不平衡约束下，提升多样化超图类型（尤其是社交网络与稀疏矩阵）的划分质量。
• 开发一种可扩展且高效的框架，使其在速度与解质量方面均超越广泛使用的 hMetis 与 PaToH 等工具。
• 通过自适应平衡约束与智能局部搜索，实现高质量的 k 路划分。

提出的方法

• 通过逐个收缩顶点的方式实现 n 级递归二分法，构建近乎 n 级的层次结构，以增强局部搜索的机会。
• 实现一个评分函数以指导顶点收缩，优先选择能最小化切割增长并保持平衡的顶点对。
• 在局部搜索中应用惰性求值与收益值缓存，以减少冗余计算，提升效率。
• 采用一组快速、随机的初始划分器（如 BFS、标签传播、贪心增长）来生成高质量的初始解。
• 设计一种专用的超图数据结构，支持高效顶点收缩与反收缩，且开销极小。
• 在递归二分过程中引入自适应的不平衡预算机制，以确保最终的 k 路划分满足用户指定的平衡约束。

实验结果

研究问题

• RQ1 n 级递归二分法是否能在解质量与运行时间方面优于传统的多级超图划分方法？
• RQ2 在 n 级框架中，基于组合的初始划分策略与细粒度局部搜索结合时，其有效性如何？
• RQ3 在高精度划分中，收益值的缓存与惰性求值在多大程度上降低了局部搜索的计算成本？
• RQ4 该算法在不同类型的超图上（尤其是社交网络与稀疏矩阵）在不同不平衡约束下的表现如何？
• RQ5 在 10% 不平衡条件下，n 级方法是否能在保持比 hMetis 更快的同时，实现优于 hMetis 与 PaToH 的切割质量？

主要发现

• 在所有基准类别中，KaHyPar 的切割大小显著小于 hMetis 与 PaToH，尤其在社交网络实例上，改善幅度高达 30%。
• 对于稀疏矩阵实例，KaHyPar 的划分质量优于 hMetis-R 与 PaToH 变体，且运行时间相当。
• 在允许 10% 不平衡的情况下，KaHyPar 在 700 个实例中的 431 个中取得了最佳解，展现出强大的可扩展性与鲁棒性。
• KaHyPar 在所有基准测试中均快于 hMetis，与朴素的 n 级实现相比，运行时间最高可减少两个数量级。
• 该算法保持了高平衡质量，在 ε=0.01 时，7000 个划分中仅产生 58 个不平衡划分（最多 2.5% 不平衡），而 hMetis-R 产生了 163 个。
• 统计检验确认，KaHyPar 在稀疏矩阵上的解质量显著优于 hMetis-R、hMetis-K、PaToH-Q 与 PaToH-D（p < 2.2×10⁻¹⁶）。