[논문 리뷰] Highly Parallel Sparse Matrix-Matrix Multiplication

Aydın Buluç, John R. Gilbert|arXiv (Cornell University)|2010. 06. 11.

Parallel Computing and Optimization Techniques참고 문헌 56인용 수 24

한 줄 요약

이 논문은 두 차원 블록 분포와 새로운 초희박 커널을 사용하여 스parse 행렬-행렬 곱셈(SpGEMM)을 위한 매우 확장 가능한 병렬 알고리즘을 제안한다. 저자들은 수천 개의 프로세서에서 강한 스케일링을 달성했으며, 대규모 테스트 시나리오에서 거의 선형적 성능 향상을 보였으며, 이는 고성능 그래프 및 멀티그리드 응용 분야에 적합하다.

ABSTRACT

Generalized sparse matrix-matrix multiplication is a key primitive for many high performance graph algorithms as well as some linear solvers such as multigrid. We present the first parallel algorithms that achieve increasing speedups for an unbounded number of processors. Our algorithms are based on two-dimensional block distribution of sparse matrices where serial sections use a novel hypersparse kernel for scalability. We give a state-of-the-art MPI implementation of one of our algorithms. Our experiments show scaling up to thousands of processors on a variety of test scenarios.

연구 동기 및 목표

• 수천 개의 프로세서에 대해 확장 가능한 병렬 스parse 행렬-행렬 곱셈(SpGEMM) 알고리즘의 부족을 해결하기 위해.
• 매우 희박한 행렬에 최적화된 새로운 초희박 커널을 도입하여 SpGEMM의 순차적 계산 병목 현상을 줄이기 위해.
• 수천 개의 프로세서에서 부하 균형과 통신 효율성을 유지하는 고도로 병렬화된 SpGEMM 알고리즘을 설계하고 구현하기 위해.
• MPI 기반 구현을 통해 실제 워크로드에서 강한 스케일링 행동을 입증하기 위해.
• SpGEMM를 핵심 원천으로 삼는 그래프 알고리즘과 멀티그리드 해법기의 효율적 실행을 가능하게 하기 위해.

제안 방법

• 스parse 행렬의 두 차원 블록 분포를 사용하여 분산 메모리 시스템에서 부하 균형을 확보하고 통신 오버헤드를 줄인다.
• 매우 낮은 밀도를 가진 행렬을 효율적으로 처리하기 위해 새로운 초희박 커널을 도입하여 순차적 계산 시간을 최소화한다.
• 데이터 국소성과 부하 균형을 향상시키기 위해 2D 블록 순환 분포 전략을 사용하여 행렬 곱셈을 부분 작업으로 분할한다.
• MPI를 사용한 프로세서 간 데이터 교환을 위해 로컬 계산과 글로벌 동기화를 조합한 하이브리드 접근 방식을 통해 통신을 최적화한다.
• 계산과 통신을 겹치기 위해 태스크 기반 스케줄링 모델을 사용하여 대규모 클러스터에서 성능을 향상시킨다.
• 알고리즘은 임의의 희박성 패턴을 지원하며, 행렬 특성에 따라 동적으로 데이터 분포를 조정한다.

실험 결과

연구 질문

• RQ1 새로운 병렬 알고리즘 설계를 통해 수천 개의 프로세서에서 거의 선형적 성능 향상을 달성할 수 있는가?
• RQ2 매우 희박한 입력 행렬을 처리할 때 초희박 커널은 SpGEMM 성능에 어떻게 기여하는가?
• RQ3 2D 블록 분포 전략은 분산 SpGEMM에서 부하 균형과 통신 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘은 다양한 희박 행렬 패턴과 워크로드에서 얼마나 잘 스케일링되는가?
• RQ5 MPI 기반 구현은 대규모 HPC 시스템에서 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 알고리즘은 다양한 테스트 시나리오에서 수천 개의 프로세서까지 강한 스케일링을 달성했으며, 거의 선형적 성능 향상을 보였다.
• 초희박 커널은 특히 매우 낮은 밀도를 가진 행렬에서 순차적 계산 시간을 크게 줄여 전체 스케일링 성능을 향상시켰다.
• 2D 블록 분포 전략은 프로세서 간 작업 부하를 효과적으로 균형 잡고 통신 오버헤드를 최소화했다.
• 구현은 그래프 및 멀티그리드 응용 분야에서 유래한 다양한 희박 행렬 패턴에서 일관된 성능을 보였다.
• 프로세서 수가 증가함에 따라 알고리즘이 높은 효율성을 유지하여 확장성에 대한 강건성을 보였다.
• MPI 기반 구현은 계산과 통신을 성공적으로 겹쳐, 유휴 시간을 줄이고 런타임 성능을 향상시켰다.