[논문 리뷰] A scalable H-matrix approach for the solution of boundary integral equations on multi-GPU clusters

Helmut Harbrecht, Peter Zaspel|arXiv (Cornell University)|2018. 06. 20.

Electromagnetic Scattering and Analysis참고 문헌 27인용 수 3

한 줄 요약

이 논문은 경계요소법(BEM)을 통해 대규모 경계적분방정식을 해결하기 위한 확장 가능하고 다중 GPU, 분산 메모리 H-행렬 라이브러리(hmglib)를 제시한다. 단일 GPU H-행렬 라이브러리의 기능을 임의의 BEM 응용 코드와 통합할 수 있는 일반 인터페이스를 제공하는 동시에, 작업 기반 실행을 사용한 분산 메모리 병렬 처리를 지원하도록 확장하였다. 이로 인해 128에서 1024개의 GPU로 확장할 때 상대적 속도 향상이 67% 이상을 기록했으며, 타이탄 슈퍼컴퓨터에서 150만 개의 미지수 문제를 6분 이내에 해결하였다.

ABSTRACT

In this work, we consider the solution of boundary integral equations by means of a scalable hierarchical matrix approach on clusters equipped with graphics hardware, i.e. graphics processing units (GPUs). To this end, we extend our existing single-GPU hierarchical matrix library hmglib such that it is able to scale on many GPUs and such that it can be coupled to arbitrary application codes. Using a model GPU implementation of a boundary element method (BEM) solver, we are able to achieve more than 67 percent relative parallel speed-up going from 128 to 1024 GPUs for a model geometry test case with 1.5 million unknowns and a real-world geometry test case with almost 1.2 million unknowns. On 1024 GPUs of the cluster Titan, it takes less than 6 minutes to solve the 1.5 million unknowns problem, with 5.7 minutes for the setup phase and 20 seconds for the iterative solver. To the best of the authors' knowledge, we here discuss the first fully GPU-based distributed-memory parallel hierarchical matrix Open Source library using the traditional H-matrix format and adaptive cross approximation with an application to BEM problems.

연구 동기 및 목표

• 수백만 개의 미지수를 포함하는 대규모 BEM 문제의 높은 계산 비용과 메모리 요구량을 해결한다.
• 단일 노드 GPU 계산의 한계를 극복하기 위해 다중 GPU 클러스터를 활용한 분산 메모리 병렬 처리를 가능하게 한다.
• 기존의 단일 GPU hmglib 라이브러리를 일반화된 인터페이스를 통해 임의의 BEM 응용 코드와 통합할 수 있도록 확장한다. 이 인터페이스는 행렬 요소 평가 및 자유도의 기하학적 위치에 대한 액세스를 제공한다.
• BEM 이산화에서 유도된 선형 시스템의 허구적 행렬 조립 및 해법에 대해 대규모 GPU 클러스터에서 높은 병렬 효율성과 확장성을 달성한다.
• 적응형 교차 근사화(ACA) 및 계층적 행렬 형식을 사용하여 완전히 GPU 기반의 분산 메모리 H-행렬 계산을 가능하게 하며, 오픈소스로 제공한다.

제안 방법

• 다중 GPU에서 작업 기반 실행 모델을 사용하여 hmglib 라이브러리를 분산 메모리 병렬 처리를 지원하도록 확장한다.
• 행렬 요소 평가 및 자유도의 기하학적 위치를 노출함으로써 임의의 BEM 코드와의 통합을 가능하게 하는 일반 인터페이스를 구현한다.
• BEM 응용에 매우 중요한, 조밀한(비적용) 블록과 저질서(적용) 블록을 모두 GPU 메모리에 사전 계산하고 저장하는 기능을 제공한다.
• 전통적인 H-행렬 형식과 적응형 교차 근사화(ACA)를 사용하여 순수하게 대수적 방법으로 저질서 행렬 압축을 수행하며, 이로 인해 O(N log N)의 행렬-벡터 곱 연산이 가능해진다.
• 조밀한 행렬 연산과 ACA 기반의 저질서 근사에 GPU 가속 커널을 활용하고, GPU 노드 간에 로드 밸런싱을 수행한다.
• 확장된 hmglib를 조각상 수치적 경계 요소를 기반으로 한 모델 GPU BEM 해법기와 통합하며, 공액 경사법(CG)과 같은 반복 해법기를 사용한다.

실험 결과

연구 질문

• RQ1 대규모 BEM 문제에 대해 분산 메모리 GPU 클러스터에서 GPU 가속 H-행렬 라이브러리의 효과적인 확장이 가능한가?
• RQ2 작업 기반 다중 GPU H-행렬 구현을 사용할 때 128에서 1024개의 GPU로 확장할 경우, 어떤 정도의 병렬 속도 향상이 달성되는가?
• RQ3 실제 기하학적 형상과 모델 기하학적 형상에서 수백만 개의 미지수를 가진 문제에 대해 확장된 hmglib 라이브러리의 설정 및 해법 시간 성능은 어떻게 비교되는가?
• RQ4 배치 처리와 작업 기반 병렬 처리를 GPU에서 사용할 경우, 로드 밸런싱과 성능 확장성의 주요 병목 현상은 무엇인가?
• RQ5 제안된 방법이 대규모 BEM 문제에서 H-행렬 설정 및 반복 해법 단계 모두에서 높은 효율성을 달성할 수 있는가?

주요 결과

• 모델 정육면체 기하 형상(150만 개의 미지수)에서 128에서 1024개의 GPU로 확장할 때 확장된 hmglib 라이브러리는 67% 이상의 상대적 병렬 속도 향상을 기록하였다.
• 실제 기어 휠 기하 형상(118만 개의 미지수)에서 128에서 1024개의 GPU로 확장할 경우, 라이브러리는 68% 이상의 상대적 속도 향상을 달성하였다.
• 1024개의 GPU에서 150만 개의 미지수 문제는 6분 이내에 해결되었으며, H-행렬 설정에 5.7분, CG 반복 해법기에 20초가 소요되었다.
• 실제 기어 휠 문제(118만 개의 미지수)는 1024개의 GPU에서 전체 해결에 8.8분이 소요되었으며, 설정에 8.3분, CG 해법기에 29초 미만이 소요되었다.
• 성능 분석 결과, 조밀한 행렬 연산은 잘 균형 잡혀 있었으며(최대 약 15초), 반면 ACA 근사에서는 심한 로드 불균형이 나타났으며, 일부 GPU는 300초 이상 소요되었다.
• 이 연구는 제안된 다중 GPU H-행렬 접근법이 대규모 BEM 문제에 대해 확장 가능하고 효율적임을 확인하였으며, 합성 및 실제 기하 형상 모두에서 뛰어난 성능을 발휘하였다.