[논문 리뷰] Load Balancing using Hilbert Space-filling Curves for Parallel Reservoir Simulations

Hui Liu, Kun Wang외 6명|arXiv (Cornell University)|2017. 08. 04.

Distributed and Parallel Computing Systems인용 수 3

한 줄 요약

이 논문은 효율적인 로드 밸런싱을 달성하기 위해 힐버트 공간 메우는 곡선(HSFC) 기반의 격자 분할 방법을 제안한다. 3D 정렬 격자를 1D 힐버트 곡선으로 매핑하고, 곡선을 등간격으로 나누어 MPI 프로세스 간 공간적 국소성과 균형 잡힌 워크로드를 보장한다. 이 방법은 뛰어난 확장성과 높은 분할 품질을 보이며, 수십억 개의 격자 요소를 포함하는 대규모 시뮬레이션에서 최대 4,096개의 MPI 프로세스를 사용할 때 선형 속도 향상을 달성한다.

ABSTRACT

The goal of load balancing (grid partitioning) is to minimize overall computations and communications, and to make sure that all processors have a similar workload. Geometric methods divide a grid by using a location of a cell while topological methods work with connectivity of cells, which is generally described as a graph. This paper introduces a Hilbert space-filling curve method. A space-filling curve is a continuous curve and defines a map between a one-dimensional space and a multi-dimensional space. A Hilbert space-filling curve is one special space-filling curve discovered by Hilbert and has many useful characteristics, such as good locality, which means that two objects that are close to each other in a multi-dimensional space are also close to each other in a one dimensional space. This property can model communications in grid-based parallel applications. The idea of the Hilbert space-filling curve method is to map a computational domain into a one-dimensional space, partition the one-dimensional space to certain intervals, and assign all cells in a same interval to a MPI. To implement a load balancing method, a mapping kernel is required to convert high-dimensional coordinates to a scalar value and an efficient one-dimensional partitioning module that divides a one-dimensional space and makes sure that all intervals have a similar workload. The Hilbert space-filling curve method is compared with ParMETIS, a famous graph partitioning package. The results show that our Hilbert space-filling curve method has good partition quality. It has been applied to grids with billions of cells, and linear scalability has been obtained on IBM Blue Gene/Q.

연구 동기 및 목표

• 대규모 격자에서 확장성과 성능을 저해하는 병렬 유정 시뮬레이션의 로드 불균형 문제를 해결한다.
• 그래프 기반 분할보다 더 간단하게 구현할 수 있지만 높은 분할 품질을 유지하는 기하학적 로드 밸런싱 방법을 개발한다.
• 공간적 국소성을 유지하기 위해 공간 메우는 곡선을 사용하여 MPI 프로세스 간 정렬 격자 워크로드를 효율적으로 분배한다.
• IBM Blue Gene/Q에서 HSFC 방법을 사용하여 대규모 유정 시뮬레이션에서 선형 확장성과 높은 성능을 입증한다.
• 과학 계산 워크로드에 대해 복잡한 그래프 분할 도구인 ParMETIS의 실용적이고 확장 가능한 대안을 제공한다.

제안 방법

• 3D 정렬 계산 도메인을 단위 입방체로 매핑하여 힐버트 곡선 매핑을 위한 공간 좌표를 정규화한다.
• 힐버트 공간 메우는 곡선을 적용하여 3D 격자 요소 좌표를 1D 스칼라 값으로 매핑함으로써 곡선의 연속성과 국소성 보존 성질을 통해 공간적 국소성을 유지한다.
• 1D 힐버트 곡선을 Np개의 등간격으로 분할하며, 여기서 Np는 MPI 프로세스의 수이다. 각 간격에 속하는 모든 격자 요소를 하나의 프로세스에 할당한다.
• 각 MPI 프로세스가 가능한 한 균형 잡힌 워크로드를 받도록 1차원 분할 모듈을 사용하여 로드 불균형을 최소화한다.
• 3D 격자 좌표를 1D 힐버트 값으로 효율적으로 변환하는 매핑 커널을 구현하여 빠르고 확장 가능한 분할을 가능하게 한다.
• 실제 유정 모델에서 성능와 확장성을 평가하기 위해 HSFC 분할 방법을 병렬 유정 시뮬레이터에 통합한다.

실험 결과

연구 질문

• RQ1 힐버트 공간 메우는 곡선 방법은 대규모 유정 시뮬레이션에서 ParMETIS와 같은 그래프 기반 분할 방법과 비교해 유사한 로드 밸런싱 품질을 달성할 수 있는가?
• RQ2 수천 개의 MPI 프로세스를 통해 HSFC 기반 분할 방법의 런타임과 통신 효율성 측면에서의 확장성은 어떠한가?
• RQ3 이 분할 방법은 유정 시뮬레이션 워크로드에서 뉴턴 방법과 선형 해법기의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 분할 시간, 통신 볼륨, 전체 시뮬레이션 시간 측면에서 HSFC 방법은 ParMETIS와 비교해 어떻게 성능가능한가?
• RQ5 이 방법은 정렬 격자 시뮬레이션에서 공간적 국소성을 얼마나 잘 유지하고, 상호 프로세스 통신을 얼마나 최소화하는가?

주요 결과

• IBM Blue Gene/Q에서 최대 4,096개의 MPI 프로세스를 사용하여 HSFC 방법이 선형 확장성을 달성하였다. 프로세스 수가 두 배로 증가할수록 시뮬레이션 시간이 반으로 감소하였다.
• 50억 개의 격자 요소를 포함하는 격자에서 전체 런타임은 512개 프로세스일 때 1,504.32초에서 4,096개 프로세스일 때 193.52초로 감소하여 강력한 확장성을 입증하였다.
• 뉴턴 방법과 선형 해법기 모두 모든 프로세스 수에서 일관된 수렴 행동을 보였으며, 안정적이고 균형 잡힌 계산 분배가 이루어졌음을 시사한다.
• 분할 시간은 거의 선형적으로 증가했지만, 단일 MPI 프로세스가 1차원 분할 단계를 처리함으로써 약간의 최적치 이하 성능을 보였다.
• 그리딩, 선형 시스템 조립, 해법 단계 모두 뛰어난 확장성을 보였으며, GMRES(30) 해법기와 RAS 조정자도 높은 효율을 유지하였다.
• HSFC 방법은 ParMETIS와 유사한 분할 품질을 달성하여, 대규모 유정 시뮬레이션에서 복잡한 그래프 분할 도구의 실용적이고 단순한 대안이 될 수 있다.