[논문 리뷰] Global finite element matrix construction based on a CPU-GPU implementation

Francisco Javier Ramírez-Gil, Marcos de Sales Guerra Tsuzuki외 1명|arXiv (Cornell University)|2015. 01. 20.

Matrix Theory and Algorithms참고 문헌 4인용 수 4

한 줄 요약

이 논문은 3차원 비정렬 메esh에 대한 전역 유한요소 행렬 구축을 가속화하기 위해 CPU-GPU 이종 계산 방식을 제안한다. 병렬 수치 적분을 GPU에 위탁하고, 순차적 행렬 조립을 CPU에서 수행함으로써, CPU 전용 계산 대비 최대 126배의 성능 향상을 달성하였으며, 2GB GPU 메모리만으로 최대 2700만 요소의 행렬을 구성할 수 있었다.

ABSTRACT

The finite element method (FEM) has several computational steps to numerically solve a particular problem, to which many efforts have been directed to accelerate the solution stage of the linear system of equations. However, the finite element matrix construction, which is also time-consuming for unstructured meshes, has been less investigated. The generation of the global finite element matrix is performed in two steps, computing the local matrices by numerical integration and assembling them into a global system, which has traditionally been done in serial computing. This work presents a fast technique to construct the global finite element matrix that arises by solving the Poisson's equation in a three-dimensional domain. The proposed methodology consists in computing the numerical integration, due to its intrinsic parallel opportunities, in the graphics processing unit (GPU) and computing the matrix assembly, due to its intrinsic serial operations, in the central processing unit (CPU). In the numerical integration, only the lower triangular part of each local stiffness matrix is computed thanks to its symmetry, which saves GPU memory and computing time. As a result of symmetry, the global sparse matrix also contains non-zero elements only in its lower triangular part, which reduces the assembly operations and memory usage. This methodology allows generating the global sparse matrix from any unstructured finite element mesh size on GPUs with little memory capacity, only limited by the CPU memory.

연구 동기 및 목표

• 선형 시스템 해법 기술의 발전에도 불구하고 여전히 미비하게 다뤄지고 있는 전역 유한요소 행렬 구축의 성능 저하 문제를 해결한다.
• 대규모 비정렬 3차원 메쉬 처리 시 GPU 메모리 한계를 극복하기 위해 CPU와 GPU 작업을 효과적으로 조합한다.
• 제한된 GPU 자원을 가진 이종 계산 환경에서 대규모 희소 전역 행렬을 스케일러블하고 메모리 효율적으로 구축하는 방법을 개발한다.
• 낮은 메모리 GPU를 탑재한 표준 개인용 컴퓨터에서 CPU 메모리를 활용해 확장성을 확보함으로써 고성능 FEM 행렬 생성을 가능하게 한다.

제안 방법

• 유한요소 행렬 구축을 두 단계로 분해한다: 수치 적분을 통한 국소 행렬 계산 및 전역 행렬 조립.
• 수치 적분(매우 병렬적임)을 GPU에 구현하여 각 요소 강성 행렬의 하삼각 부분만 계산함으로써 메모리 및 시간 절약.
• 조립 과정은 본질적으로 순차적이고 메모리 집약적이므로 GPU 메모리 병목 현상을 피하기 위해 CPU에서 수행.
• 행렬 대칭성 활용: 국소 및 전역 강성 행렬이 모두 대칭이므로 하삼각 부분만 저장하고 조립함으로써 메모리 사용량과 연산 수를 감소.
• 비동기 커널 실행을 통해 GPU 계산(수치 적분)과 CPU 계산(조립)을 겹쳐 수행함으로써 전체 처리량 향상.
• 가용 GPU 메모리 기반으로 대규모 메쉬를 그룹으로 분할하여, GPU 메모리보다 큰 행렬을 CPU 메모리에 의존해 구성 가능하게 함.

실험 결과

연구 질문

• RQ1 CPU-GPU 이종 아키텍처가 비정렬 3차원 메쉬에 대한 대규모 전역 유한요소 행렬 구축을 상당히 가속화할 수 있는가?
• RQ2 GPU 기반 유한요소 행렬 생성에서 대칭성을 어떻게 활용하여 메모리 사용량과 계산 비용을 줄일 수 있는가?
• RQ3 GPU 메모리가 제한된 조건에서 이 방법이 얼마나 스케일업할 수 있으며, CPU 메모리는 이러한 확장성에 어떤 역할을 하는가?
• RQ4 수치 적분을 GPU에 위탁하고 순차적 조립은 CPU에서 유지함으로써 얻을 수 있는 성능 향상은 어느 정도인가?
• RQ5 이 방법은 푸아송 방정식을 초월하여 다른 PDE 및 FEM에서의 다른 행렬 유형(예: 질량 행렬)으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 수치 적분에 대해 순차적 CPU 구현 대비 최대 126배, 평균 121배의 성능 향상을 달성하여 고도로 활용된 GPU 성능을 입증하였다.
• 수치 적분 루틴은 총 행렬 생성 시간의 62–82%를 차지하였고, 조립 루틴은 17–38%에 그쳐, 수치 적분이 주요 성능 저하 요인임을 시사한다.
• 희소 행렬 조립 함수(sparse_create)는 매우 효율적이었으며, 2700만 요소의 경우 20초 이내에 완료되어 수치 적분 단계의 시간의 약 1/5에 불과했다.
• 메모리는 CPU 메모리 용량에 의해 제한되지만, 2GB GPU 메모리만으로도 2727만 개의 노드와 2700만 개의 3차원 요소를 가진 전역 희소 행렬을 성공적으로 구성하였다.
• GPU 커널의 비동기 실행을 통해 수치 적분과 행렬 조립이 겹쳐져 자원 활용도가 향상되고 유휴 시간이 감소하였다.
• 이 방법은 일반화 가능하다: 정적 문제의 강성 행렬과 동적 문제의 질량 행렬을 포함한 다양한 PDE에 적용 가능하며, FEM에서의 다른 행렬 형식에도 적용 가능하다.