[논문 리뷰] Deep Multilevel Graph Partitioning

Lars Gottesbüren, Tobias Heuer외 3명|arXiv (Cornell University)|2021. 05. 05.

Graph Theory and Algorithms인용 수 6

한 줄 요약

이 논문은 큰 수의 블록(k)에 대해 효율적이고 균형 잡힌 그래프 분할을 가능하게 하는 새로운 다수준 프레임워크인 딥 다중수준 그래프 분할(Deep MGP)을 소개한다. 이 프레임워크는 반복적인 이등분 분할과 직접 k-방향 분할을 통합하여, 초기 분할 단계까지 깊이 있는 다수준 코arsening을 수행한다. 제안된 KaMinPar 알고리즘은 모든 수준에서 병렬성을 유지하면서도, 이전 방법들에 비해 최대 10배의 속도 향상을 달성하며, k가 수백만에 이르는 경우에도 항상 균형 잡히고 고품질의 분할을 생성한다.

ABSTRACT

Partitioning a graph into blocks of "roughly equal" weight while cutting only few edges is a fundamental problem in computer science with a wide range of applications. In particular, the problem is a building block in applications that require parallel processing. While the amount of available cores in parallel architectures has significantly increased in recent years, state-of-the-art graph partitioning algorithms do not work well if the input needs to be partitioned into a large number of blocks. Often currently available algorithms compute highly imbalanced solutions, solutions of low quality, or have excessive running time for this case. This is because most high-quality general-purpose graph partitioners are multilevel algorithms which perform graph coarsening to build a hierarchy of graphs, initial partitioning to compute an initial solution, and local improvement to improve the solution throughout the hierarchy. However, for large number of blocks, the smallest graph in the hierarchy that is used for initial partitioning still has to be large. In this work, we substantially mitigate these problems by introducing deep multilevel graph partitioning and a shared-memory implementation thereof. Our scheme continues the multilevel approach deep into initial partitioning -- integrating it into a framework where recursive bipartitioning and direct k-way partitioning are combined such that they can operate with high performance and quality. Our approach is stronger, more flexible, arguably more elegant, and reduces bottlenecks for parallelization compared to other multilevel approaches. For example, for large number of blocks our algorithm is on average an order of magnitude faster than competing algorithms while computing balanced partitions with comparable solution quality. For small number of blocks, our algorithms are the fastest among competing systems with comparable quality.

연구 동기 및 목표

• 큰 수의 블록(k)으로 그래프를 분할할 때 기존의 다수준 그래프 분할기의 확장성 한계를 해결한다.
• 큰 k에 대해 성능과 해 품질을 떨어뜨리는 코어싱 및 초기 분할 단계의 병목 현상을 극복한다.
• 여러 코어에서 균형 잡힌 로드와 높은 성능을 유지할 수 있는 공유 메모리 병렬 구현을 개발한다.
• 통합된 다수준 프레임워크 내에서 반복적 이등분 분할과 직접 k-방향 분할을 통합하여 유연성과 효율성을 향상시킨다.
• 다양한 그래프 유형과 k 값에 걸쳐 일관된 해 품질과 균형을 확보한다.

제안 방법

• 코어싱과 언코어싱 과정을 여러 수준에 걸쳐 깊이 수행하며, 언코어싱 단계에서 반복적 이등분 분할을 통합하여 k개의 블록을 생성하는 딥 MGP를 제안한다.
• 단일 코어싱 및 언코어싱 사이클을 사용하며, 이때 이등분 분할은 크기가 약 C개 노드인 그래프에만 적용된다. 여기서 C는 사용자가 정의한 매개변수이다.
• 병렬성 유지 조건을 유지한다: p개의 처리 요소 각각이 최소 p×C개 노드를 가진 그래프를 처리함으로써 균형 잡힌 로드와 확장성을 확보한다.
• k-방향 국소 개선 및 균형 조정을 계층의 명시적 구성 요소로 통합하여, 대규모에서 고품질의 해를 생성할 수 있도록 한다.
• 크기 제약이 있는 레이블 전파를 사용하여 코어싱 및 개선 과정을 구현한 공유 메모리 병렬 버전(KaMinPar)을 개발하였으며, 최적화된 메모리 액세스 패턴을 적용하였다.
• 1–64코어 범위에서의 확장성 평가를 위해 조화 평균 속도 향상률을 사용하였으며, 성능 분석을 위한 구성 요소 분리가 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 다수준 그래프 분할 프레임워크를 초기 분할 단계까지 깊이 확장함으로써 큰 k에 대한 확장성을 향상시킬 수 있는가?
• RQ2 통합된 프레임워크 내에서 반복적 이등분 분할과 직접 k-방향 분할을 조합함으로써 기존 방법보다 더 나은 성능과 해 품질을 달성할 수 있는가?
• RQ3 딥 MGP는 공유 메모리 시스템에서 최대 64코어에서 고도로 균형 잡힌 로드를 유지하고 거의 선형 속도 향상을 달성할 수 있는가?
• RQ4 k가 2^11에서 2^20 범위에 있을 때, 딥 MGP는 최신 기술 대비 해 품질, 균형, 실행 시간 측면에서 어떻게 비교되는가?
• RQ5 기타 분할기들이 실패하거나 균형이 깨진 결과를 생성하는 동안, 딥 MGP는 시간 제한 내에 신뢰성 있게 실행 가능한(균형 잡힌) 해를 생성할 수 있는가?

주요 결과

• KaMinPar는 84개의 테스트 인스턴스(21개 그래프 × 4개의 k 값) 전부에서 실행 가능한 균형 잡힌 분할을 생성하였으며, Mt-Metis-RB, Mt-Metis-K, PuLP, Mt-KaHIP는 시간 제한 또는 균형 오류로 4~76개 인스턴스에서 실패하였다.
• 큰 k에 대해 KaMinPar는 경쟁 알고리즘들보다 최소 10배 이상 빠르게 작동하였으며, Mt-Metis-RB 10가 가장 빠른 경쟁자였지만 평균적으로 5배 이상 느렸다.
• KaMinPar의 조화 평균 속도 향상률은 64코어에서 27.9에 도달하였으며, 개선 및 코어싱 구성 요소는 각각 33.1 및 25.0의 속도 향상을 기록하여 강력한 병렬 확장성을 입증하였다.
• KaMinPar는 코어싱보다 더 뛰어난 확장성을 확보하였으며, 특히 고차수 그래프에서 개선 과정의 더 효율적인 메모리 액세스 패턴 덕분이었다.
• 알고리즘은 일관되게 균형 잡힌 해를 생성하였으며, 중앙값 불균형률은 1.05 이하, 최대 불균형률은 1.15 이하를 기록하였고, Mt-Metis-K보다 균형 품질에서 뛰어난 성능을 보였다.
• 딥 MGP는 유리한 품질-성능 트레이드오프를 가능하게 한다: 작은 k에 대해서는 이전 시스템보다 더 빠르며, 큰 k에 대해서는 극적으로 빠르게 작동하면서도 해 품질과 균형을 유지한다.