[논문 리뷰] KaHIP v3.00 -- Karlsruhe High Quality Partitioning -- User Guide

Peter Sanders, Christian Schulz|arXiv (Cornell University)|2013. 11. 07.

VLSI and FPGA Design Techniques참고 문헌 33인용 수 12

한 줄 요약

KaHIP v3.00은 고성능 그래프 분할 프레임워크로, 다수준 분할, 유전자 및 병렬 알고리즘, 노드 분리자, 엣지 분할, ILP 기반 정확한 해법기를 제공한다. 다양한 워크로드, 즉 소셜 네트워크, 과학 계산, VLSI 설계를 지원하며, 구성 가능한 균형과 컷 크기 최적화를 통해 높은 품질의 분할을 달성한다.

ABSTRACT

This paper severs as a user guide to the graph partitioning framework KaHIP (Karlsruhe High Quality Partitioning). We give a rough overview of the techniques used within the framework and describe the user interface as well as the file formats used. Moreover, we provide a short description of the current library functions provided within the framework. Since version 3.00 we support multilevel partitioning, memetic algorithms, distributed and shared-memory parallel algorithms, node separator and ordering algorithms, edge partitioning algorithms as well as ILP solvers.

연구 동기 및 목표

• 다양한 계산 워크로드에서 고품질 그래프 분할을 위한 종합적이고 사용자 우호적인 프레임워크를 제공하는 것.
• 다수준 분할, 멜리틱 알고리즘, ILP 솔버를 포함한 히우리스틱 및 정확한 방법을 지원하여 최적의 균형과 컷 크기를 달성하는 것.
• 노드 및 엣지 가중치, 계층적 메모리 시스템, 워크로드 인식 균형 기능을 지원하여 대규모 그래프의 효율적 분할을 가능하게 하는 것.
• HPC, 그래프 처리, VLSI 설계 파이프라인에 통합 가능한 모듈러한 C++ 라이브러리 및 명령줄 도구를 제공하는 것.
• 스 parser 행렬 계산과 같은 특수 응용을 위한 노드 분리자, 프로세스 매핑, 엣지 분할과 같은 고급 기능을 지원하는 것.

제안 방법

• 다수준 접근 방식을 활용: 매칭을 통한 그래프의 조밀화, 가장 조밀한 수준에서의 초기 분할, 국소 검색(예: FM 알고리즘)을 통한 풀어내기 과정을 통해 분할을 정밀화한다.
• KaFFPa, KaFFPaE, KaBaPE를 통합하여 구성 가능한 모드(Fast, ECO, Strong)와 향상된 품질을 위한 진화 전략을 포함한 다수준 분할을 지원한다.
• ParHIP를 통해 분산 및 공유 메모리 병렬 처리를 지원하여 대규모 그래프의 확장 가능한 분할을 가능하게 한다.
• ILP 솔버와 ILP 개선 휴리스틱을 사용하여 소형에서 중형 그래프에 대해 최소 컷 크기로 정확하거나 거의 정확한 해를 달성한다.
• 감소된 중첩 분할 기반 및 빠른 변형을 사용한 노드 순서 정렬 및 바이세퍼레이터 알고리즘을 제공하여 그래프 재정렬 및 분해를 지원한다.
• 계층적 거리 및 컴포넌트 파rameter를 통한 프로세스 매핑을 지원하여 분산 시스템에서 통신 볼륨을 최소화한다.

실험 결과

연구 질문

• RQ1 유량 기반 방법과 반복적 국소 검색을 통한 다수준 그래프 분할은 분할 품질을 어떻게 향상시킬 수 있는가?
• RQ2 유전자 및 진화 알고리즘의 통합은 대규모 그래프에서 분할 품질과 확장성에 어떤 영향을 미치는가?
• RQ3 ILP 기반 정확한 솔버와 개선 기법은 균형 제약 조건을 유지하면서 컷 크기를 최소화하는 데 얼마나 효과적인가?
• RQ4 노드 분리자 및 순서 정렬 알고리즘은 그래프 처리 및 과학 계산 워크로드에서 성능을 얼마나 향상시킬 수 있는가?
• RQ5 계층적 메모리 및 통신 인식 분할을 지원할 경우 분산 시스템에서 통신 볼륨은 얼마나 감소하는가?

주요 결과

• KaHIP v3.00은 최소한의 엣지 컷과 구성 가능한 불균형(불균형 파rameter를 통한 최대 3%)을 제공하여 과학 계산 및 VLSI 설계에 적합한 고품질 분할을 달성한다.
• KaFFPa 및 그 변종(KaFFPaE, KaBaPE)을 포함한 다수준 프레임워크는 특히 대규모 복잡한 그래프에서 기준 방법 대비 분할 품질을 크게 향상시킨다.
• ParHIP를 통한 병렬 분할은 공유 메모리 및 분산 시스템에서 대규모 그래프의 확장 가능한 처리를 가능하게 하며, 멀티스레딩과 로드 밸런싱으로 인한 성능 향상을 제공한다.
• ILP 기반 정확한 솔버와 개선 기법은 소형에서 중형 그래프에서 최적 또는 거의 최적의 해를 달성하여, 이 프레임워크가 정확한 최적화를 처리할 수 있음을 입증한다.
• 노드 분리자 및 순서 정렬 알고리즘(예: 감소된 ND)은 내부 분할 및 희소 행렬 분해에 사용 가능한 그래프 분해에 효과적으로 기여한다.
• 라이브러리는 Metis 및 바이너리 포맷을 포함한 다양한 입력/출력 형식을 지원하며, JNI를 통한 자바 프로젝트 통합을 가능하게 하여 다양한 환경에서의 사용성 향상을 이룬다.