[논문 리뷰] An Asynchronous Task-based Fan-Both Sparse Cholesky Solver

Mathias Jacquelin, Yili Zheng외 2명|arXiv (Cornell University)|2016. 07. 29.

Matrix Theory and Algorithms참고 문헌 7인용 수 8

한 줄 요약

이 논문은 분산 메모리 시스템에서 뛰어난 성능을 달성하기 위해 동적 스케줄링과 UPC++를 통한 원측 통신을 활용한 비동기식, 태스크 기반 희소 코レス키 분해기인 symPACK를 제시한다. 대칭성을 활용하고 통신 오버헤드를 최소화함으로써 symPACK는 최신 기술 수준의 솔버를 능가하며, af_shell7 문제에서 최대 7.77배의 성능 향상을 기록하고, 최고의 대칭 솔버 대비 평균 3.21배의 성능 향상을 달성한다.

ABSTRACT

Systems of linear equations arise at the heart of many scientific and engineering applications. Many of these linear systems are sparse; i.e., most of the elements in the coefficient matrix are zero. Direct methods based on matrix factorizations are sometimes needed to ensure accurate solutions. For example, accurate solution of sparse linear systems is needed in shift-invert Lanczos to compute interior eigenvalues. The performance and resource usage of sparse matrix factorizations are critical to time-to-solution and maximum problem size solvable on a given platform. In many applications, the coefficient matrices are symmetric, and exploiting symmetry will reduce both the amount of work and storage cost required for factorization. When the factorization is performed on large-scale distributed memory platforms, communication cost is critical to the performance of the algorithm. At the same time, network topologies have become increasingly complex, so that modern platforms exhibit a high level of performance variability. This makes scheduling of computations an intricate and performance-critical task. In this paper, we investigate the use of an asynchronous task paradigm, one-sided communication and dynamic scheduling in implementing sparse Cholesky factorization (symPACK) on large-scale distributed memory platforms. Our solver symPACK relies on efficient and flexible communication primitives provided by the UPC++ library. Performance evaluation shows good scalability and that symPACK outperforms state-of-the-art parallel distributed memory factorization packages, validating our approach on practical cases.

연구 동기 및 목표

• 대규모 분산 메모리 플랫폼에서 희소 대칭 양의 정부선형 시스템 해법의 성능 저하 요인을 해결한다.
• 현대 슈퍼컴퓨터의 복잡한 네트워크 토폴로지와 성능 변동성으로 인한 통신 및 스케줄링 과제를 극복한다.
• 채움을 최소화하고 대칭성을 활용하여 계산 및 저장 비용을 줄이는 확장성 있고 효율적인 희소 코レス키 인수분해를 개발한다.
• 비대칭 대안 대비 대칭 솔버를 사용하여 메모리 제약 조건이 있는 환경에서도 고성능 인수분해를 가능하게 한다.
• 희소 선형 대수 워크로드에서 비동기 태스크 기반 계산, 동적 스케줄링 및 원측 통신의 효과를 검증한다.

제안 방법

• 계산과 통신을 분리하기 위해 비동기식 태스크 기반 프로그래밍 모델을 사용하여 세밀한 로드 밸런싱을 가능하게 한다.
• 런타임 가용성과 데이터 종속성에 기반해 태스크를 동적으로 할당하기 위해 노드 내에서 동적 스케줄링을 사용한다.
• 분산 메모리 시스템에서의 확장성을 향상시키기 위해 UPC++를 통한 원측 통신을 구현한다.
• 초과 채움을 최소화하고 데이터 국소성을 향상시키기 위해 슈퍼노드 재정렬 및 데이터 구조를 적용한다.
• 버퍼 공간이 소진되었을 때 비동기 통신에서의 데드락을 방지하기 위해 스케줄링 제약 조건을 도입한다.
• 행렬의 대칭성을 활용해 하삼각 행렬 요소만 저장함으로써 저장 및 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 비동기 태스크 기반 계산은 대규모 분산 메모리 시스템에서 희소 코レス키 인수분해의 성능과 확장성에 어떻게 기여하는가?
• RQ2 비정규적인 데이터 액세스 패턴을 가진 희소 코レス키 솔버에서 동적 스케줄링은 로드 밸런싱과 성능에 어떤 영향을 미치는가?
• RQ3 UPC++를 통한 원측 통신은 전통적인 MPI 기반 접근 방식에 비해 통신 오버헤드를 줄이고 확장성을 향상시키는가?
• RQ4 symPACK는 SuperLU_DIST, MUMPS, PASTIX와 같은 최신 기술 수준의 대칭 및 비대칭 솔버와 비교해 성능 및 메모리 효율성에서 어떻게 성과를 내는가?
• RQ5 비대칭 LU 인수분해를 피하는 조건에서, 제안된 접근 방식이 메모리 제약 조건 하에서도 높은 성능을 유지할 수 있는 정도는 어느 정도인가?

주요 결과

• symPACK는 최고의 대칭 솔버 대비 평균 3.21배의 성능 향상을 기록했으며, af_shell7 문제에서는 최대 7.77배의 성능 향상을 달성하여 강력한 확장성을 입증했다.
• audikw_1 및 bone010 행렬에서 symPACK는 각각 최고의 대칭 솔버 대비 평균 1.77배, 1.47배의 성능 향상을 기록했으며, SuperLU_DIST가 더 빠를 때조차도 성능을 뛰어넘었다.
• af_shell7 문제에서 symPACK는 모든 최신 기술 수준의 솔버를 능가했으며, 최대 7.77배의 성능 향상과 최소 0.89배의 성능 향상을 기록했다.
• 모든 테스트 행렬에서 2048개의 프로세서까지 성공적으로 확장되었으며, PASTIX와 MUMPS가 메모리 제약으로 실패한 boneS10 행렬에서도 성공적으로 작동했다.
• UPC++의 원측 통신 및 비동기 함수 실행 기능을 활용함으로써 최소한의 동기화로 낮은 오버헤드, 고효율의 태스크 실행이 가능했다.
• 제안된 데드락 방지 스케줄링 제약 조건이 비동기 통신 환경에서 버퍼 공간 고갈을 효과적으로 방지함을 입증했다.