[論文レビュー] High-Quality Hypergraph Partitioning

Sebastian Schlag|arXiv (Cornell University)|Jan 1, 2020

VLSI and FPGA Design Techniques参考文献 113被引用数 16

ひとこと要約

この論文では、高度な粗捩化、リファインメント、メタヒックアルゴリズムを備えたnレベルのマルチレベルパラダイムを導入するオープンソースのハイパーグラフ分割フレームワーク、KaHyParを提示している。KaHyParは、多様なハイパーグラフにおいて、カットネットおよび接続性メトリクスの両方で優れた解の品質と速度を達成し、hMETIS、PaToH、Mondriaan、Zoltan-AlgD、HYPE、KaFFPaを上回っている。

ABSTRACT

This dissertation focuses on computing high-quality solutions for the NP-hard $ extit{balanced hypergraph partitioning problem}$ : Given a hypergraph and an integer $k$, partition its vertex set into $k$ disjoint blocks of bounded size, while minimizing an objective function over the hyperedges. Here, we consider the two most commonly used objectives: the $ extit{cut-net}$ metric and the $ extit{connectivity}$ metric. Since the problem is computationally intractable, heuristics are used in practice -- the most prominent being the three-phase multi-level paradigm: During coarsening, the hypergraph is successively contracted to obtain a hierarchy of smaller instances. After applying an initial partitioning algorithm to the smallest hypergraph, contraction is undone and, at each level, refinement algorithms try to improve the current solution. With this work, we give a brief overview of the field and present several algorithmic improvements to the multi-level paradigm. Instead of using a logarithmic number of levels like traditional algorithms, we present two coarsening algorithms that create a hierarchy of (nearly) $n$ levels, where $n$ is the number of vertices. This makes consecutive levels as similar as possible and provides many opportunities for refinement algorithms to improve the partition. This approach is made feasible in practice by tailoring all algorithms and data structures to the $n$-level paradigm, and developing lazy-evaluation techniques, caching mechanisms and early stopping criteria to speed up the partitioning process. Furthermore, we propose a sparsification algorithm based on locality-sensitive hashing that improves the running time for hypergraphs with large hyperedges, and show that incorporating global information about the community structure into the coarsening process improves quality. Moreover, we present a portfolio-based initial partitioning approach, and propose three refinement algorithms. Two are based on the Fiduccia-Mattheyses (FM) heuristic, but perform a highly localized search at each level. While one is designed for two-way partitioning, the other is the first FM-style algorithm that can be efficiently employed in the multi-level setting to directly improve $k$-way partitions. The third algorithm uses max-flow computations on pairs of blocks to refine $k$-way partitions. Finally, we present the first memetic multi-level hypergraph partitioning algorithm for an extensive exploration of the global solution space. All contributions are made available through our open-source framework KaHyPar. In a comprehensive experimental study, we compare KaHyPar with hMETIS, PaToH, Mondriaan, Zoltan-AlgD, and HYPE on a wide range of hypergraphs from several application areas. Our results indicate that KaHyPar, already without the memetic component, computes better solutions than all competing algorithms for both the cut-net and the connectivity metric, while being faster than Zoltan-AlgD and equally fast as hMETIS. Moreover, KaHyPar compares favorably with the current best graph partitioning system KaFFPa -- both in terms of solution quality and running time.

研究の動機と目的

• NP困難なバランスの取れたハイパーグラフ分割問題に対して、解の品質と効率を向上させること。
• 従来のマルチレベル分割法の制限を克服するため、対数的レベルではなくnレベルの粗捩化階層を導入すること。
• 大規模なハイパーエッジに対して、グローバルなコミュニティ構造と局所性に敏感なハッシュ法を組み込むことで、分割品質を向上させること。
• k-way分割に特化した効率的なリファインメントアルゴリズムを開発すること、FMスタイルおよび最大フローに基づく手法を含む。
• 新規なメタヒックマルチレベルアルゴリズムにより、解空間の広範なグローバル探索を可能にすること。

提案手法

• 連続するレベル間の類似度を最大化する2つの新規な粗捩化アルゴリズムを用いて、ほぼnレベルの粗捩化階層を設計すること。
• nレベル設定におけるパフォーマンス最適化のため、遅延評価、キャッシュ、および早期終了を実装すること。
• 大規模なハイパーエッジを有するハイパーグラフの処理を高速化するため、局所性に敏感なハッシュ法に基づくスパarsification技術を導入すること。
• 粗捩化段階にグローバルなコミュニティ構造を組み込むことで、より良い初期分割意思決定を支援すること。
• 多様な初期解を生成するためのポータフォリオベースの初期分割戦略を提案すること。
• 3つのリファインメントアルゴリズムを開発：2つのFMスタイルヒューリスティクス（2way用とk-way用）およびk-wayリファインメントのための最大フローに基づく手法。

実験結果

リサーチクエスチョン

• RQ1 nレベルのマルチレベルフレームワークは、対数的レベルアプローチと比較して、ハイパーグラフ分割の品質を顕著に向上させることができるか？
• RQ2 粗捩化段階でグローバルなコミュニティ構造を組み込むと、解の品質にどのような影響を与えるか？
• RQ3 局所性に敏感なハッシュ法によるスパース化は、大規模なハイパーエッジを有するハイパーグラフにおいて実行時間をどの程度短縮できるか？
• RQ4 FMスタイルのリファインメントは、マルチレベル設定において直接k-way分割の改善に効果的に適応可能か？
• RQ5 メタヒックマルチレベルアルゴリズムは、ハイパーグラフ分割において優れたグローバル探索と解の品質を実現できるか？

主な発見

• KaHyParは、カットネットおよび接続性メトリクスの両方において、hMETIS、PaToH、Mondriaan、Zoltan-AlgD、HYPEの両方を上回る解の品質を達成している。
• メタヒック部品がなくても、KaHyParはすべてのベンチマークハイパーグラフで、すべての競合アルゴリズムを上回る解を得ている。
• KaHyParはZoltan-AlgDよりも高速であり、hMETISと同等の速度で動作しており、高い効率性を示している。
• nレベルの粗捩化アプローチにより、レベル間の細分化された類似度のおかげで、より効果的なリファインメントが可能になっている。
• 提案されたFMスタイルのk-wayリファインメントアルゴリズムは、マルチレベル分割における直接的なk-way改善のための最初の効率的なFMベースの手法である。
• メタヒックマルチレベルアルゴリズムにより、標準的なリファインメントをはるかに超える広範なグローバル探索が可能となり、解の品質がさらに向上している。