[논문 리뷰] An efficient multi-core implementation of a novel HSS-structured multifrontal solver using randomized sampling

Pieter Ghysels, Xiaoye Sherry Li외 3명|arXiv (Cornell University)|2015. 02. 25.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 7

한 줄 요약

이 논문은 계층적 준분리( hierarchically semiseparable, HSS) 행렬 압축과 랜덤 샘플링을 활용하여 계산 복잡도를 감소시키는 새로운 다중 프론탈 해법기의 고성능 다핵 구현을 제시한다. 다중 프론탈 방법에서 밀도 높은 프론탈 행렬을 HSS 구조로 근사하고, 빠른 ULV 분해를 적용함으로써 기존 표준 다중 프론탈 방법 대비 최대 7배의 성능 향상을 달성하였으며, 공유 메모리 아키텍처에서 최신 기술 수준의 해법기인 PARDISO를 능가한다.

ABSTRACT

We present a sparse linear system solver that is based on a multifrontal variant of Gaussian elimination, and exploits low-rank approximation of the resulting dense frontal matrices. We use hierarchically semiseparable (HSS) matrices, which have low-rank off-diagonal blocks, to approximate the frontal matrices. For HSS matrix construction, a randomized sampling algorithm is used together with interpolative decompositions. The combination of the randomized compression with a fast ULV HSS factorization leads to a solver with lower computational complexity than the standard multifrontal method for many applications, resulting in speedups up to 7 fold for problems in our test suite. The implementation targets many-core systems by using task parallelism with dynamic runtime scheduling. Numerical experiments show performance improvements over state-of-the-art sparse direct solvers. The implementation achieves high performance and good scalability on a range of modern shared memory parallel systems, including the Intel Xeon Phi (MIC). The code is part of a software package called STRUMPACK -- STRUctured Matrices PACKage, which also has a distributed memory component for dense rank-structured matrices.

연구 동기 및 목표

• 대규모 희소 선형 시스템에 대해 계산 복잡도를 감소시키는 고성능 다핵 다중 프론탈 해법기의 개발.
• 다중 프론탈 해법기에서의 밀도 높은 행렬 연산의 성능 저하 문제를 프론탈 행렬 내의 낮은 질서 구조를 활용하여 해결.
• 현대 공유 메모리 및 다핵 시스템(예: Intel Xeon, Xeon Phi)에서 희소 선형 시스템을 효율적이고 확장 가능하게 해결할 수 있도록 지원.
• 랜덤 샘플링과 분해 기반 간섭 기법을 통해 HSS 행렬 구축의 계산 비용을 감소시켜 근사 선형 복잡도 달성.
• STRUMPACK 소프트웨어 패키지에 통합하여 공유 메모리 및 분산 메모리 환경 모두에서 실행 가능하도록 지원.

제안 방법

• 밀도 높은 프론탈 행렬을 계층적 준분리(HSS) 행렬로 근사하는 다중 프론탈 접근 방식을 사용하며, HSS 행렬은 비대칭 블록이 낮은 질서를 가짐.
• 랜덤 샘플링과 분해 기반 간섭 기법을 활용해 HSS 행렬을 효율적으로 구축함으로써 구축 비용을 O(N²)에서 근사 선형 복잡도로 감소.
• 압축된 프론탈 행렬에 대해 빠른 ULV 유사 HSS 분해를 적용하여 선형 시스템을 효율적으로 해결.
• 다양한 다핵 및 다핵 아키텍처에서 고성능과 확장성을 확보하기 위해 동적 런타임 스케줄링(StarPU 기반)을 활용한 작업 병렬 처리를 구현.
• 요소적 밀도 높은 프론탈 행렬의 명시적 구성 없이도 전체 분해 과정 동안 HSS 표현을 구조적으로 유지함.
• STRUMPACK 패키지에 통합되어 공유 메모리 및 분산 메모리 환경 모두에서 밀도 높은 질서 구조 행렬을 처리할 수 있도록 지원.

실험 결과

연구 질문

• RQ1 HSS 행렬 압축이 희소 선형 시스템에 대한 다중 프론탈 해법기의 계산 복잡도를 크게 감소시킬 수 있는가?
• RQ2 랜덤 샘플링과 분해 기반 간섭 기법을 통해 근사 선형 복잡도를 달성하는 낮은 비용의 HSS 행렬 구축이 가능한가?
• RQ3 HSS 압축을 활용한 다중 프론탈 해법기가 현대 다핵 아키텍처(예: Intel Xeon, Xeon Phi)에서 고성능과 확장성을 달성할 수 있는가?
• RQ4 HSS 기반 해법기의 성능는 최신 기술 수준의 희소 직접 해법기(PARDISO 등)와 비교해 어떻게 되는가?
• RQ5 해법기 확장성의 주요 성능 저하 요인은 무엇이며, HSS 질서와 재정렬 전략을 어떻게 최적화해 성능 향상을 이룰 수 있는가?

주요 결과

• HSS 구조 다중 프론탈 해법기는 다양한 테스트 문제에서 기존 표준 다중 프론탈 방법 대비 최대 7배의 성능 향상을 달성.
• 공유 메모리 시스템에서 상업용 PARDISO 해법기보다 성능과 확장성 면에서 뛰어남.
• 수치적 요소 분해 과정에서 듌체이 Xeon 및 60코어 Xeon Phi 시스템 모두에서 강력한 병렬 확장성 확보.
• 스레드 수 증가에 따라 MC64 및 METIS/SCOTCH 기반 재정렬 단계가 성능 저하 요인으로 나타나며, 이는 향상된 병렬 재정렬 필요성 시사.
• 순수 다중 프론탈 코드 대비 낮은 부동소수점 처리 성능를 고려할지라도 구현은 높은 성능과 양호한 확장성을 유지함. 이는 향후 최적화 여지 존재.
• 랜덤 샘플링과 ULV 분해를 활용해 명시적 대규모 밀도 높은 행렬 생성 없이도 완전한 HSS 표현 유지 가능.