[论文解读] KaHIP v3.00 -- Karlsruhe High Quality Partitioning -- User Guide

Peter Sanders, Christian Schulz|arXiv (Cornell University)|Nov 7, 2013

VLSI and FPGA Design Techniques参考文献 33被引用 12

一句话总结

KaHIP v3.00 是一个高性能图划分框架，支持多级划分、记忆启发式与并行算法、节点分割、边划分以及基于 ILP 的精确求解器。它适用于社交网络、科学计算和 VLSI 设计等多种工作负载，可实现配置化平衡与切割大小优化的高质量划分结果。

ABSTRACT

This paper severs as a user guide to the graph partitioning framework KaHIP (Karlsruhe High Quality Partitioning). We give a rough overview of the techniques used within the framework and describe the user interface as well as the file formats used. Moreover, we provide a short description of the current library functions provided within the framework. Since version 3.00 we support multilevel partitioning, memetic algorithms, distributed and shared-memory parallel algorithms, node separator and ordering algorithms, edge partitioning algorithms as well as ILP solvers.

研究动机与目标

• 为多样化计算工作负载提供一个全面且用户友好的高性能图划分框架。
• 支持启发式与精确方法，包括多级划分、记忆启发式算法和 ILP 求解器，以实现最优的平衡与切割大小。
• 支持大规模图的高效划分，具备节点与边权重支持、分层内存系统以及工作负载感知的负载均衡能力。
• 提供模块化的 C++ 库和命令行工具，便于集成到 HPC、图处理和 VLSI 设计工作流中。
• 支持高级功能，如节点分割、进程映射和边划分，适用于稀疏矩阵计算等专用应用场景。

提出的方法

• 采用多级方法：通过匹配对图进行粗化，在最粗层次进行初始划分，然后通过局部搜索（如 FM 算法）在细化阶段逐步恢复图结构以优化划分质量。
• 集成 KaFFPa、KaFFPaE 和 KaBaPE 用于多级划分，支持可配置模式（FAST、ECO、STRONG），并结合进化策略以提升划分质量。
• 通过 ParHIP 支持分布式与共享内存并行计算，实现对大规模图的可扩展划分。
• 利用 ILP 求解器及 ILP 改进启发式方法，为小到中等规模图实现精确或近似精确解，最小化切割大小。
• 通过简化嵌套分离法与快速变体实现节点排序与双分隔器算法，用于图重排与分解。
• 支持进程映射，通过分层距离与组件参数最小化分布式系统中的通信量。

实验结果

研究问题

• RQ1 如何通过基于流的方法与重复局部搜索增强多级图划分，以提升划分质量？
• RQ2 在大规模图中，集成记忆启发式与进化算法对划分质量与可扩展性有何影响？
• RQ3 基于 ILP 的精确求解器及其改进方法在保持平衡约束的前提下，最小化切割大小的效率如何？
• RQ4 节点分割与排序算法在图处理与科学计算工作负载中能多大程度上提升性能？
• RQ5 支持分层内存与通信感知划分在分布式系统中如何减少通信量？

主要发现

• KaHIP v3.00 实现了高质量划分，边切割数最小化，且不平衡度可配置（通过不平衡参数最高达 3%），适用于科学计算与 VLSI 设计。
• 结合 KaFFPa 及其变体（KaFFPaE、KaBaPE）的多级框架显著优于基线方法，尤其在大规模复杂图上表现突出。
• 通过 ParHIP 实现的并行划分在共享内存与分布式系统中可扩展处理大规模图，多线程与负载均衡带来显著性能提升。
• 基于 ILP 的精确求解器及其改进方法在小到中等规模图上实现了最优或近似最优解，验证了框架在精确优化方面的能力。
• 节点分割与排序算法（如简化嵌套分离法）在嵌套分离与稀疏矩阵分解中有效分解图结构。
• 该库支持灵活的输入/输出格式，包括 Metis 与二进制格式，并通过 JNI 支持 Java 项目集成，显著提升了在多样化环境中的可用性。