[논문 리뷰] Parallel Triangular Solvers on GPU

Zhangxin Chen, Hui Liu외 1명|arXiv (Cornell University)|2016. 06. 02.

Matrix Theory and Algorithms참고 문헌 10인용 수 7

한 줄 요약

이 논문은 GPU 아키텍처에 최적화된 HEC(Hybrid ELL and CSR) 행렬 형식과 병렬 삼각형 해법기를 제안하며, ILU 및 도메인 분할 조건부 행렬에 필수적인 하한 및 상한 삼각형 시스템을 효율적으로 해결할 수 있도록 한다. 이 방법은 삼각형 해법에서 최대 7배의 성능 향상을, 전체 선형 해법에서는 10배의 성능 향상을 달성하였으며, RAS 조건부 행렬은 다양한 희소 행렬에서 뛰어난 안정성과 성능을 보였다.

ABSTRACT

In this paper, we investigate GPU based parallel triangular solvers systematically. The parallel triangular solvers are fundamental to incomplete LU factorization family preconditioners and algebraic multigrid solvers. We develop a new matrix format suitable for GPU devices. Parallel lower triangular solvers and upper triangular solvers are developed for this new data structure. With these solvers, ILU preconditioners and domain decomposition preconditioners are developed. Numerical results show that we can speed triangular solvers around seven times faster.

연구 동기 및 목표

• GPU에서 삼각형 해법기를 효율적으로 병렬화하는 데 도전하는 것 — 이는 반복적 선형 해법의 핵심 요소이지만 본질적으로 순차적인 성격을 지닌다.
• GPU 아키텍처에서 희소 삼각형 시스템의 메모리 접근 비효율성과 비정규적인 데이터 패턴을 해결하는 것.
• ELL과 CSR 구조를 결합하여 메모리 효율성과 코alesced 메모리 접근를 균형 잡은 새로운 행렬 형식(HEC)을 개발하는 것.
• 레벨 스케줄링을 활용해 병렬 실행을 가능하게 하는 데이터 병렬 처리를 위한 하한 및 상한 삼각형 해법을 위한 병렬 알고리즘 설계.
• 블록 ILU(k), ILUT 및 제한된加법적 샤츠(Restricted Additive Schwarz) 조건부 행렬에 새로운 해법기를 통합하여 반복적 선형 시스템 해법을 가속화하는 것.

제안 방법

• 정규적인 부분은 ELL 형식(열 기반, 코alesced 접근)으로, 비정규적인 부분은 CSR 형식(행 기반, 가변 길이 저장)으로 저장하는 HEC(Hybrid ELL and CSR) 행렬 형식을 제안한다.
• 의존성 체인에 따라 미지수를 레벨 단위로 그룹화하여, 동일한 레벨의 미지수를 병렬로 계산할 수 있도록 레벨 스케줄링을 사용한다.
• 매트릭스를 레벨 기반으로 재구성하기 위해 재정렬 맵 m(i)을 정의하여 메모리 코ales싱을 향상시키고 비정규적 접근 패턴을 감소시킨다.
• 재정렬된 HEC 매트릭스를 기반으로 GPU 스레드 블록을 활용해 하한 및 상한 삼각형 해법을 위한 병렬 커널을 구현한다.
• 블록 ILU(k), ILUT 및 제한된 가산 샤츠(Restricted Additive Schwarz, RAS) 조건부 행렬에 삼각형 해법기를 통합하여 케리로프 부분공간 방법의 성능을 향상시킨다.
• ELL 데이터를 열 기반 순서로 정렬하고, 비제로 요소 수가 크게 변동하는 행에는 CSR을 사용하여 메모리 접근 패턴을 최적화한다.

실험 결과

연구 질문

• RQ1 ELL과 CSR을 조합한 하이브리드 행렬 형식이 GPU에서 삼각형 해법기의 메모리 접근 효율성과 병렬 성능을 향상시킬 수 있는가?
• RQ2 레벨 스케줄링과 매트릭스 재정렬을 통해 데이터 종속성을 얼마나 줄일 수 있고, GPU에서 삼각형 해법의 효과적인 병렬화를 얼마나 잘 달성할 수 있는가?
• RQ3 제안된 HEC 기반 삼각형 해법기가 기존 GPU 삼각형 해법기와 비교해 ILU 및 도메인 분할 조건부 행렬에서 성능적으로 얼마나 우수한가?
• RQ4 다양한 희소 행렬과 다양한 희박성 패턴을 가진 행렬에서 삼각형 해법 및 전체 선형 시스템 해법에 대해 새로운 해법기를 사용했을 때 기대할 수 있는 성능 향상은 어느 정도인가?
• RQ5 대규모, 비정규적, 고도로 이질적인 문제에 적용했을 때, 결과로 도출된 조건부 행렬(예: RAS)의 안정성과 확장성은 어느 정도인가?

주요 결과

• 제안된 HEC 기반 삼각형 해법기는 CPU 구현 대비 최대 7배의 성능 향상을 기록하였으며, 여러 테스트 매트릭스에서 평균 6–7배의 성능 향상을 달성하였다.
• 블록 ILU(0) 조건부 행렬은 삼각형 해법 시간에서 3배 이상의 성능 향상을 기록하였으며, 전체 선형 해법에서는 GPU에서 최대 8배의 성능 향상을 기록하였다.
• RAS 조건부 행렬은 가장 높은 안정성과 성능를 보였으며, 대규모 매트릭스에서 해법 단계에서 최대 9.32배, 삼각형 해법에서 최대 6.92배의 성능 향상을 기록하였다.
• 비정규적인 희박성 패턴을 가진 BILUT의 경우 삼각형 해법기는 약 2배의 성능 향상을 기록하였지만, 알고리즘적 효율성 덕분에 전체 해법 단계에서는 여전히 약 6배의 성능 향상을 기록하였다.
• SPE10 벤치마크(220만 개의 미지수, 2990만 개의 비제로 요소)에서 BILU를 사용할 경우 전체 해법 단계가 6.2배 빨라졌고, RAS를 사용할 경우 5.1배 빨라졌다. 비록 BILUT의 비정규적 구조를 고려하더라도 성능 향상이 유지되었다.
• 블록 조건부 행렬의 블록 수가 증가할수록 성능 향상이 지속되며, 이는 GPU 아키텍처에서 강력한 확장성을 보임을 시사한다.