[论文解读] More Recent Advances in (Hyper)Graph Partitioning

Ümit V. Çatalyürek, Karen Devine+9 more|arXiv (Cornell University)|May 26, 2022

VLSI and FPGA Design Techniques被引用 7

一句话总结

本文对近年来在平衡（超）图划分领域的最新进展进行了全面、最新的综述，重点聚焦于多级算法、流式处理技术以及共享内存、分布式内存和GPU架构下的并行实现。文章识别了在可扩展性、质量以及硬件可移植性方面的主要挑战，同时指出了在多目标优化、动态划分以及复杂现实世界图建模方面的开放性问题。

ABSTRACT

In recent years, significant advances have been made in the design and evaluation of balanced (hyper)graph partitioning algorithms. We survey trends of the last decade in practical algorithms for balanced (hyper)graph partitioning together with future research directions. Our work serves as an update to a previous survey on the topic. In particular, the survey extends the previous survey by also covering hypergraph partitioning and streaming algorithms, and has an additional focus on parallel algorithms.

研究动机与目标

• 通过整合超图划分和流式算法的最新进展，更新并扩展2013年关于图划分的先前综述。
• 分析在共享内存、分布式内存和GPU架构下并行图划分的最新技术状态。
• 识别在异构和分层超级计算机系统中实现高质量、可扩展且节能划分所面临的开放挑战。
• 评估流式处理与内存储存划分算法之间的性能差距，并识别改进机会。
• 探讨当前目标函数和约束在处理复杂现实世界图（如具有高度偏斜节点权重或有向结构的图）时的局限性。

提出的方法

• 系统性地分类与回顾串行与并行（超）图划分技术，重点在于多级框架。
• 对流式算法进行调研，包括单遍、重流式、缓冲和边划分变体，并在多个数据集上进行实验评估。
• 分析在共享内存、分布式内存和GPU平台上的并行划分算法，重点关注粗化、初始划分和细化阶段。
• 评估如边切割、连通性及瓶颈度量等目标函数及其对应用性能的影响。
• 讨论硬件感知设计原则，包括通过Kokkos等库实现的性能可移植性，以及对异构架构的支持。
• 识别并行与GPU执行中与不规则性、内存访问模式和负载均衡相关的关键算法瓶颈。

实验结果

研究问题

• RQ1 现代多级划分算法如何在大规模（超）图上实现高质量解？其成功的关键组件是什么？
• RQ2 与内存储存对应方法相比，流式图划分算法的主要局限性是什么？如何提升其质量？
• RQ3 在将（超）图划分算法扩展到大量线程或分布式内存系统时，会面临哪些挑战？如何应对？
• RQ4 不同的目标函数（如边切割、连通性或瓶颈度量）如何影响现实应用中划分的性能？
• RQ5 当前划分算法在处理复杂图结构（如具有高度偏斜节点权重或有向边的图）方面的能力如何？还需要哪些改进？

主要发现

• 多级划分仍是主导方法，但粗化启发式策略和停止准则通常具有启发式性质，缺乏严格的分析。
• 由于缺乏全局问题视图，目前的流式划分算法产生的划分质量显著低于内存储存方法。
• 在共享内存和分布式内存系统上的并行划分面临负载均衡和内存访问局部性方面的挑战，尤其是在大规模场景下。
• 基于GPU的划分是一个新兴领域，现有工作有限，但若能解决算法不规则性问题，有望实现性能提升。
• 现有求解器在节点权重差异极大的实例上表现不佳，此时问题趋近于装箱问题，当前方法难以有效扩展。
• 在动态或重划分场景下，多约束和多目标划分缺乏高质量求解器。