[논문 리뷰] Hypergraph Partitioning for Sparse Matrix-Matrix Multiplication

Grey Ballard, Alex Druinsky외 2명|arXiv (Cornell University)|2016. 03. 17.

Graph Theory and Algorithms참고 문헌 17인용 수 6

한 줄 요약

이 논문은 희소 행렬-행렬 곱셈(SpGEMM)에서의 통신 비용을 최적화하기 위해 초그래프 분할 모델을 제안하며, 통신 최적화 알고리즘은 초그래프 분할 문제를 해결하는 것과 동일하다고 보여준다. 이 방법은 희소성에 따라 달라지며, 세밀한 1D 및 2D 모델을 통해 더 단순한 알고리즘이 입력 행렬의 구조에 따라 복잡한 알고리즘만큼 통신 효율성이 높을 수 있음을 입증한다.

ABSTRACT

We propose a fine-grained hypergraph model for sparse matrix-matrix multiplication (SpGEMM), a key computational kernel in scientific computing and data analysis whose performance is often communication bound. This model correctly describes both the interprocessor communication volume along a critical path in a parallel computation and also the volume of data moving through the memory hierarchy in a sequential computation. We show that identifying a communication-optimal algorithm for particular input matrices is equivalent to solving a hypergraph partitioning problem. Our approach is sparsity dependent, meaning that we seek the best algorithm for the given input matrices. In addition to our (3D) fine-grained model, we also propose coarse-grained 1D and 2D models that correspond to simpler SpGEMM algorithms. We explore the relations between our models theoretically, and we study their performance experimentally in the context of three applications that use SpGEMM as a key computation. For each application, we find that at least one coarse-grained model is as communication efficient as the fine-grained model. We also observe that different applications have affinities for different algorithms. Our results demonstrate that hypergraphs are an accurate model for reasoning about the communication costs of SpGEMM as well as a practical tool for exploring the SpGEMM algorithm design space.

연구 동기 및 목표

• 프로세서 간 통신과 메모리 계층 구조의 데이터 이동을 모두 반영하는 세밀한 초그래프 모델을 통해 SpGEMM의 통신 비용을 정확하게 모델링하기.
• 통신 최적화된 SpGEMM 알고리즘을 찾는 것이 초그래프 분할 문제를 해결하는 것과 동일하다는 것을 입증하기.
• 더 단순한 SpGEMM 알고리즘을 표현하면서도 통신 비용 정확도를 유지하는 코ars닝된 초그래프 모델(1D, 2D, 3D)을 탐색하기.
• 세 가지 실제 응용 분야에서 실험적으로 성능을 평가하여 응용 분야별 알고리즘 선호도를 규명하기.
• 사전 처리 단계에서 초그래프 분할을 통해 런타임 비용 없이 통신 효율적인 SpGEMM 전략을 설계할 수 있음을 안내하기.

제안 방법

• 초모서리가 산술 연산을, 정점이 데이터 요소를 나타내는 3D 세밀한 초그래프 모델을 제안하며, 의존성과 통신 볼륨을 모두 반영한다.
• 초그래프 모델을 사용하여 순차적 및 병렬 SpGEMM의 통신 비용 하한을 수립하고, 행렬의 비제로 요소 구조에 기반해 그 타당성을 증명한다.
• 행렬의 행 단위, 외적 곱셈, SpSUMMA 방식과 대응하는 연산과 데이터를 집계함으로써 1D 및 2D 코어스닝 모델을 도입한다.
• 통신 최적화 알고리즘을 찾는 문제를 초그래프 분할 문제로 환원하며, 기존 소프트웨어를 활용해 실용적인 평가를 수행한다.
• 기존의 초그래프 분할 도구를 사용하여 실제 SpGEMM 워크로드에서 알고리즘 하위군 간의 통신 비용을 비교한다.
• 알제브라적 멀티그리드, 선형 프rog래밍, 마르코프 클러스터링 세 가지 응용 분야에서 결과를 분석하여 간단한 알고리즘이 충분한지 확인한다.

실험 결과

연구 질문

• RQ1 세밀한 초그래프 모델은 순차적 및 병렬 환경에서 SpGEMM의 통신 비용을 정확하게 표현할 수 있는가?
• RQ2 통신 최적화된 SpGEMM 알고리즘을 찾는 것은 초그래프 분할 문제를 해결하는 것과 동일한가?
• RQ3 실제 SpGEMM 인스턴스에서 코어스닝된 초그래프 모델(1D, 2D)은 세밀한 3D 모델에 비해 통신 효율성이 얼마나 떨어지는가?
• RQ4 다른 응용 분야에서는 특정 SpGEMM 알고리즘이 통신 비용 측면에서 선호되는가?
• RQ5 실제로 더 단순한 1D 또는 2D 알고리즘이 더 복잡한 3D 알고리즘만큼 통신 효율성을 달성할 수 있는가?

주요 결과

• 세밀한 초그래프 모델은 프로세서 간 통신과 메모리 계층의 데이터 이동을 정확히 반영하여 통신 비용 모델링이 가능하다.
• 주어진 입력 행렬에 대해 통신 최적화된 SpGEMM 알고리즘은 초그래프 분할 문제를 해결하는 것과 동일하며, 이 모델은 이전 연구보다 더 날카운 하한을 도출한다.
• 알제브라적 멀티그리드 및 선형 프로그래밍 응용 분야에서 일부 1D 알고리즘이 3D 모델과 유사한 통신 효율성을 달성했다.
• 소셜 네트워크 매트릭스를 사용한 마르코프 클러스터링 응용 분야에서 2D 알고리즘이 1D 알고리즘보다 통신 효율성이 뛰어나, 응용 분야에 따라 알고리즘 선호도가 다름을 시사한다.
• 결과는 초그래프 분할이 통신 비용을 고려한 SpGEMM 알고리즘 설계 공간 탐색에 실용적인 도구임을 확인한다. 특히 유사한 SpGEMM 연산을 여러 번 수행할 경우 사전 처리 비용을 분할하면 유리하다.
• 코어스닝된 모델(1D, 2D)은 통신 비용 정확도를 유지하며, 전체 3D 모델의 해상도가 필요 없이 최적의 알고리즘을 식별할 수 있다.