[논문 리뷰] On Parallel Solution of Sparse Triangular Linear Systems in CUDA

Ruipeng Li|arXiv (Cornell University)|2017. 10. 13.

Matrix Theory and Algorithms참고 문헌 34인용 수 6

한 줄 요약

이 논문은 CUDA를 사용하여 GPU에서 희소 삼각선형 연립방정식을 해결하기 위한 자기스케줄링 알고리즘을 제안하며, 기존 수준스케줄링 방법의 순차적 병목 현상을 극복한다. 제안된 방법은 전역 동기화를 제거하고 데이터 가용성과 동시에 작업을 즉시 실행함으로써 cuSPARSE의 CSRSV2 솔버 대비 최대 2.6배의 성능 향상을 달성한다. 반복적인 문제 해결을 위한 GPU 가속 설정 단계는 총 해결 시간을 추가로 감소시킨다.

ABSTRACT

The acceleration of sparse matrix computations on modern many-core processors, such as the graphics processing units (GPUs), has been recognized and studied over a decade. Significant performance enhancements have been achieved for many sparse matrix computational kernels such as sparse matrix-vector products and sparse matrix-matrix products. Solving linear systems with sparse triangular structured matrices is another important sparse kernel as demanded by a variety of scientific and engineering applications such as sparse linear solvers. However, the development of efficient parallel algorithms in CUDA for solving sparse triangular linear systems remains a challenging task due to the inherently sequential nature of the computation. In this paper, we will revisit this problem by reviewing the existing level-scheduling methods and proposing algorithms with self-scheduling techniques. Numerical results have indicated that the CUDA implementations of the proposed algorithms can outperform the state-of-the-art solvers in cuSPARSE by a factor of up to $2.6$ for structured model problems and general sparse matrices.

연구 동기 및 목표

• 희소 삼각행렬 연립방정식을 GPU에서 해결할 때 발생하는 고유한 순차성으로 인한 성능 저하 문제를 해결하기 위해.
• 전역 동기화를 제거하고 동적이고 종속성 인식(self-scheduling)의 자기스케줄링으로 수준스케줄링의 전역 동기화를 대체하여 병렬 처리 효율을 향상시키기 위해.
• 반복적인 해결이 필요한 행렬을 대상으로 GPU에서 설정 단계를 가속화하여 총 해결 시간을 단축시키기 위해.
• 자기스케줄링 알고리즘의 성능을 cuSPARSE CSRSV2와 같은 최신 기술 솔버들과 비교 평가하기 위해.
• 성능 향상이 이루어지기 위해 필요한 최소한의 해결 횟수를 결정하여 설정 단계의 비용이 실질적으로 타당한지 입증하기 위해.

제안 방법

• 각 미지수는 종속성이 모두 해결된 즉시 해결되도록 하는 자기스케줄링 알고리즘을 도입하여 전역 동기화 장벽을 제거한다.
• 의존성 그래프 분석을 적응적으로 활용하여 작업의 준비 상태를 동적으로 식별함으로써 세밀한 수준의 병렬성을 달성한다.
• 희소 삼각행렬 패턴에서 유도된 병렬성을 발견하기 위해 GPU 기반 설정 단계를 구현한다.
• 작업 준비 상태가 되는 즉시 실행을 최소 지연으로 수행하기 위해 CUDA 커널을 사용한다.
• 설정 단계에 CPU와 GPU를 조합한 하이브리드 접근 방식을 적용하며, 3D 라플라스 행렬과 일반 희소 행렬에서 GPU 기반 분석이 성능 향상을 보였다.
• 구조적 및 비구조적 행렬을 대상으로 해답 시간과 총 시간(설정 + 해답) 등의 메트릭을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 자기스케줄링 알고리즘이 GPU에서 희소 삼각행렬 연립방정식을 해결할 때 수준스케줄링 방법보다 우월한가?
• RQ2 GPU 가속 설정 단계는 반복적인 해결에 대해 총 시간을 얼마나 줄일 수 있는가?
• RQ3 자기스케줄링 솔버가 cuSPARSE CSRSV2를 총 시간 측면에서 앞서기 위해 필요한 최소 해결 횟수는 얼마인가?
• RQ4 다양한 유형의 희소 행렬에 대해 자기스케줄링의 성능은 최신 GPU 솔버와 비교해 어떻게 되는가?
• RQ5 반복적인 해결이 발생하는 실세계 응용 프로그램에서 설정 단계의 오버헤드는 타당한가?

주요 결과

• 제안된 자기스케줄링 솔버(SLFC)는 구조적 및 일반 희소 행렬에서 cuSPARSE CSRSV2 대비 최대 2.6배의 성능 향상을 달성한다.
• 테스트 행렬 12개 중 11개에서 GPU 기반 설정 단계가 CPU 기반 설정 단계보다 설정 시간을 단축시켰으며, 3D 라플라스 행렬에서는 성능 향상이 관찰되었다.
• SLFC가 cuSPARSE CSRSV2를 앞서기 위해 필요한 최소 해결 횟수는 종종 낮았는데, 몇몇 행렬에서는 0회로, 즉시 성능 이점을 확보함을 의미한다.
• 설정 단계가 매우 간단한 GSF 솔버는 SLFC의 총 시간을 따라잡기 위해 더 많은 해결 횟수가 필요했으며(예: webbase1M의 경우 9회), 이는 SLFC의 해답 단계 효율성이 뛰어나다는 것을 시사한다.
• Queen_4147와 같은 행렬의 경우, SLFC는 총 시간 측면에서 cuSPARSE CSRSV2를 앞서기 위해 단 11회의 해결만으로도 성능 이점을 확보했으며, 실용적인 적용 가능성의 강도를 입증한다.
• 본 연구는 반복적인 우측항이 존재하는 응용 프로그램, 예를 들어 반복적 솔버와 직접 해법에서의 반복 보정 과정 등에서 설정 단계 비용이 타당하다는 것을 확인한다.