[논문 리뷰] A distributed-memory package for dense Hierarchically Semi-Separable matrix computations using randomization

François-Henry Rouet, Xiaoye Sherry Li외 2명|arXiv (Cornell University)|2015. 03. 18.

Matrix Theory and Algorithms참고 문헌 32인용 수 5

한 줄 요약

이 논문은 무작위 샘플링을 사용하여 조밀한 계층적 반분리( hierarchically semi-separable, HSS) 행렬 계산을 위한 확장 가능하고 분산 메모리 기반 라이브러리인 STRUMPACK를 제시한다. 이는 적응형 무작위 샘플링을 통해 비대각 블록을 압축하여 대규모 선형 시스템의 빠른 정확한 해법과 행렬-벡터 곱셈을 가능하게 하며, 밀도 있는 ScaLAPACK 대비 최대 6배의 성능 향상을 이끌어내고 실제 문제에서 8,000코어까지 강한 스케일링 성능을 보인다.

ABSTRACT

We present a distributed-memory library for computations with dense structured matrices. A matrix is considered structured if its off-diagonal blocks can be approximated by a rank-deficient matrix with low numerical rank. Here, we use Hierarchically Semi-Separable representations (HSS). Such matrices appear in many applications, e.g., finite element methods, boundary element methods, etc. Exploiting this structure allows for fast solution of linear systems and/or fast computation of matrix-vector products, which are the two main building blocks of matrix computations. The compression algorithm that we use, that computes the HSS form of an input dense matrix, relies on randomized sampling with a novel adaptive sampling mechanism. We discuss the parallelization of this algorithm and also present the parallelization of structured matrix-vector product, structured factorization and solution routines. The efficiency of the approach is demonstrated on large problems from different academic and industrial applications, on up to 8,000 cores. This work is part of a more global effort, the STRUMPACK (STRUctured Matrices PACKage) software package for computations with sparse and dense structured matrices. Hence, although useful on their own right, the routines also represent a step in the direction of a distributed-memory sparse solver.

연구 동기 및 목표

• 고성능 계산에서 구조화된 행렬 계산을 위한 확장 가능하고 일반적인 병렬 소프트웨어의 부족을 해결한다.
• 유한요소법 및 경계요소법에서 흔히 나타나는 저질서 비대각 블록을 가진 조밀한 행렬에 대해 효율적이고 블랙박스 기반의 계산을 가능하게 한다.
• 임의의 MPI 프로세스 수와 비균형적인 계층 트리를 지원하는 분산 메모리 기반 HSS 압축 및 인수분해 패키지를 개발한다.
• 무작위 샘플링과 적응형 샘플링을 통합하여 사전 지식 없이도 강력하고 자동으로 질서를 추정할 수 있도록 한다.
• 최대 8,000코어를 사용하여 대규모 학술적 및 산업 문제에서 높은 성능과 강한 스케일링 성능을 입증한다.

제안 방법

• 비대각 블록을 저질서 구조로 근사함으로써 조밀한 행렬을 압축하기 위해 계층적 반분리(HSS) 표현을 사용한다.
• 행렬 질서에 대한 사전 지식 없이도 저질서 구조를 추정하기 위해 적응형 샘플링 메커니즘을 갖춘 무작위 샘플링을 적용한다.
• 부분화가 비균형적이고 비균형적인 HSS 트리가 존재하는 경우에도 적절한 로드 밸런싱을 보장하기 위해 작업-프로세스 매핑 알고리즘을 구현한다.
• MPI를 사용하여 분산된 행렬 배포, 로컬 샘플링, HSS 트리의 재귀적 탐색을 통해 HSS 압축을 병렬화한다.
• HSS 구조를 활용한 병렬 HSS 행렬-벡터 곱셈 및 선형 시스템 해법을 위한 ULV 유사 인수분해를 구현한다.
• 통신 및 계산을 위해 BLAS와 ScaLAPACK 기본 기능을 활용하며, 트리 탐색 중 통신 오버헤드를 최소화하는 데 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 적응형 질서 추정과 함께 무작위 샘플링이 분산 메모리 기반 HSS 압축에 효과적으로 적용될 수 있는가?
• RQ2 HSS 기반 해법의 성능은 최대 8,000코어로 확장된 대규모 문제에서 어떻게 스케일링되는가?
• RQ3 기존의 밀도 있는 해법 대비 분산 환경에서 HSS 트리 탐색의 통신 및 계산 오버헤드는 어떠한가?
• RQ4 ScaLAPACK 및 이전의 HSS 코드인 Hsolver에 비해 STRUMPACK의 성능 및 확장성은 어떠한가?
• RQ5 HSS 프레임워크는 다양한 응용 분야에서 블랙박스 조건자 또는 직접 해법으로 얼마나 널리 사용될 수 있는가?

주요 결과

• STRUMPACK는 HSS 질서가 중간 정도일 경우, 밀도 있는 ScaLAPACK 커널 대비 최대 6배의 성능 향상을 기록한다.
• 라이브러리는 8,000개의 MPI 프로세스까지 강한 스케일링 성능을 보이며, 효율적인 로드 밸런싱과 통신 관리 능력을 입증한다.
• 최대 질서가 5,500인 경계요소법 문제에서 유도된 130,000×130,000 행렬에 대해 STRUMPACK는 4,096코어에서 132.9초의 실행 시간을 기록했다.
• HSS 질서가 클 경우 HSS 트리 탐색의 통신 오버헤드가 지배적이 되어 고코어 수에서 ScaLAPACK와의 성능 격차가 줄어든다.
• 압축 단계에서 50%의 시간이 Interpolative Decomposition(ID) 계산에 소요되며, 이는 현재 BLAS2 성능에 의해 제한된다.
• 적응형 샘플링 메커니즘이 블랙박스 사용성을 보장하여 사용자가 사전에 질서를 지정할 필요 없이도 실용적인 사용성을 향상시킨다.