[논문 리뷰] On Symmetric Rectilinear Matrix Partitioning

Abdurrahman Yaşar, Muhammed Fati̇h Balin외 3명|arXiv (Cornell University)|2020. 09. 16.

Interconnection Networks and Systems참고 문헌 27인용 수 5

한 줄 요약

이 논문은 대칭 직사각형 행렬 분할 문제를 해결하기 위해 네 가지 휴리스틱 알고리즘을 제안한다. 이 문제는 효율적인 병렬 계산을 위한 희소 행렬 분포에서 균형 잡힌 정사각형 대각 블록을 보장한다. 희소화와 희소 접두합 데이터 구조를 활용함으로써, 대규모 그래프(예: Twitter)에서 24코어 시스템 기준으로 3초 이내의 런타임을 달성하며, 로드 불균형이 1% 미만이 되어, 80% 이상의 테스트 인스턴스에서 높은 효율성과 거의 최적의 성능을 입증한다.

ABSTRACT

Even distribution of irregular workload to processing units is crucial for efficient parallelization in many applications. In this work, we are concerned with a spatial partitioning called rectilinear partitioning (also known as generalized block distribution) of sparse matrices. More specifically, in this work, we address the problem of symmetric rectilinear partitioning of a square matrix. By symmetric, we mean the rows and columns of the matrix are identically partitioned yielding a tiling where the diagonal tiles (blocks) will be squares. We first show that the optimal solution to this problem is NP-hard, and we propose four heuristics to solve two different variants of this problem. We present a thorough analysis of the computational complexities of those proposed heuristics. To make the proposed techniques more applicable in real life application scenarios, we further reduce their computational complexities by utilizing effective sparsification strategies together with an efficient sparse prefix-sum data structure. We experimentally show the proposed algorithms are efficient and effective on more than six hundred test matrices. With sparsification, our methods take less than 3 seconds in the Twitter graph on a modern 24 core system and output a solution whose load imbalance is no worse than 1%.

연구 동기 및 목표

• 비정규적인 워크로드를 가진 병렬 희소 행렬 계산에서의 균형 문제를 해결하기 위해, 특히 대칭 정사각형 행렬의 경우에 초점을 맞춘다.
• 로드 불균형과 통신 오버헤드를 최소화하면서도 대칭 타일링(정사각형 대각 블록)을 유지하는 효율적인 분할 기법을 개발한다.
• 실세계 확장성을 위해 희소화 및 최적화된 데이터 구조를 통해 분할 알고리즘의 계산 복잡도를 낮춘다.
• 다양한 희소 행렬 워크로드, 특히 대규모 그래프를 포함한 실제 희소 행렬 워크로드에서 제안된 휴리스틱의 성능과 로드 불균형을 평가한다.
• 고성능 계산 분야에서의 광범위한 채택과 향후 연구를 위해 구현을 오픈소스로 제공한다.

제안 방법

• 대칭 직사각형 분할을 위한 네 가지 휴리스틱—PaL, BaL (RaC), BaL (Uni), RaC—을 제안하며, 두 가지 변형인 불균형 최소화(mLI)와 통신 최소화(mNC)를 목표로 한다.
• 누적 행 및 열 가중치를 효율적으로 계산하기 위해 희소 접두합 데이터 구조를 사용하여 분할 과정에서의 로드 추정을 신속하게 수행한다.
• 낮은 가중치를 가진 행/열을 필터링하여 입력 크기를 줄이는 희소화 전략을 적용함으로써, 솔루션 품질에 영향을 주지 않으면서도 계산 비용을 크게 감소시킨다.
• 프로브 기반 접근 방식(PaL)과 정밀 조정 기반 방법(BaL)을 사용하여 목표 로드 균형을 만족시키기 위해 반복적으로 분할 경계를 조정한다.
• RaC 휴리스틱을 통해 이차원 분할 문제를 일차원 컷으로 환원하여 속도를 위해 약간의 정확도를 희생한다.
• 희소화, 접두합 구축, 분할을 포함한 파이프라인으로 모든 구성 요소를 통합하였으며, 600개 이상의 실제 행렬을 대상으로 성능를 측정하였다.

실험 결과

연구 질문

• RQ1 대칭 직사각형 행렬 분할 문제는 NP-난이도 문제이며, 최적 해를 찾는 데 있어 계산적 한계는 무엇인가?
• RQ2 다양한 희소 행렬 워크로드에서 PaL, BaL, RaC 등의 다양한 휴리스틱 전략이 로드 불균형과 실행 시간 측면에서 어떻게 상호 비교되는가?
• RQ3 희소화 전략이 솔루션 품질을 떨어뜨리지 않으면서도 분할 알고리즘의 런타임을 얼마나 향상시키는가?
• RQ4 실세계 행렬, 특히 대규모 그래프에서 제안된 알고리즘이 거의 최적의 로드 불균형을 얼마나 효과적으로 달성하는가?
• RQ5 희소 접두합 데이터 구조가 분할 파이프라인의 전체 효율성에 미치는 영향은 무엇인가?

주요 결과

• 대칭 직사각형 행렬 분할 문제는 NP-난이도임을 증명하여 최적 해를 찾는 데 있어 계산적으로 비가능함을 입증한다.
• PaL 휴리스틱은 mNC 문제에서 다른 방법들보다 실행 시간 측면에서 뛰어나며, 더 큰 타겟 블록 크기에서 특히 두각을 나타낸다. 이는 낮은 계산 복잡도 덕분이다.
• 희소화와 희소 접두합 구조를 활용함으로써, 테이터 트윗(24코어 시스템)에서 3초 이내의 런타임을 달성하였고, 로드 불균형은 1% 미만이었다.
• 375개의 작은 테스트 행렬에서 제안된 알고리즘은 80% 이상의 경우에 거의 최적의 솔루션을 달성하여 뛰어난 솔루션 품질을 입증했다.
• RaC 휴리스틱은 일차원 환원 덕분에 가장 빠른 실행 시간을 보였지만, PaL에 비해 略적으로 정확도가 떨어진다.
• 큰 그래프에서는 희소화가 런타임을 크게 감소시켰지만, 작은 그래프에서는 사전 처리 비용이 추가되므로 네트워크 효과가 미미하다.