[논문 리뷰] Two-Level Nyström-Schur Preconditioner for Sparse Symmetric Positive Definite Matrices

Hussam Al Daas, Tyrone Rees외 1명|arXiv (Cornell University)|2021. 01. 01.

Matrix Theory and Algorithms참고 문헌 38인용 수 7

한 줄 요약

이 논문은 큰 희소 대칭 양의 정부호(정수형, SPD) 선형 시스템을 위한 새로운 이중 수준 Nystr"om-Schur 조건화 방법을 제안한다. 랜덤화된 Nystr"om 방법을 활용하여 낮은 랭크 근사를 계산함으로써 강력한 대수적 조건화를 실현한다. 고유값 문제를 재구성하여 0에서 잘 분리된 고유값을 확보함으로써 랜덤화 알고리즘의 효율적 적용을 가능하게 하고, 수치 실험 결과 블록 공액 기울기법을 사용해 내부 슈어 여백 시스템을 느슨한 수렴 기준으로 풀었을 때, 최소한의 계산 비용으로 고품질의 조건화 방법을 확보할 수 있음을 보여준다.

ABSTRACT

Randomized methods are becoming increasingly popular in numerical linear algebra. However, few attempts have been made to use them in developing preconditioners. Our interest lies in solving large-scale sparse symmetric positive definite linear systems of equations where the system matrix is preordered to doubly bordered block diagonal form (for example, using a nested dissection ordering). We investigate the use of randomized methods to construct high quality preconditioners. In particular, we propose a new and efficient approach that employs Nystr\"om's method for computing low rank approximations to develop robust algebraic two-level preconditioners. Construction of the new preconditioners involves iteratively solving a smaller but denser symmetric positive definite Schur complement system with multiple right-hand sides. Numerical experiments on problems coming from a range of application areas demonstrate that this inner system can be solved cheaply using block conjugate gradients and that using a large convergence tolerance to limit the cost does not adversely affect the quality of the resulting Nystr\"om--Schur two-level preconditioner.

연구 동기 및 목표

• 대규모 희소 대칭 양의 정부호(정수형, SPD) 선형 시스템을 위한 견고하고 대수적인 이중 수준 조건화 방법을 개발하는 것.
• CG 수렴을 방해하는 작은 고유값을 제어하는 데에 한계가 있는 전통적인 일중 수준 조건화 방법의 문제점을 해결하는 것.
• 일般적으로 가장 작은 고유값과 관련된 탈출 부분공간을 효과적으로 구성하기 위해 랜덤화 방법—특히 Nystr"om 방법—을 사용할 수 있도록 하는 것.
• 랜덤화 해법이 효과적으로 적용될 수 있도록, 낮은 랭크 근사와 관련된 고유값 문제를 재구성하여 0에서 잘 분리된 고유값을 확보하는 것.
• 조건화된 시스템의 기대 스펙트럼 조건수에 대한 이론적 경계를 제공하여 수렴의 견고성을 보장하는 것.

제안 방법

• 시스템 행렬 A는 이중 경계 블록 대각 형식으로 재정렬되며, 이 과정에서 크기가 nΓ인 슈어 여백 AΓ가 분리된다.
• 기본 조건화 방법(예: 비완전 코ales키 분해)과 슈어 여백의 랜덤화된 Nystr"om 근사로부터 유도된 낮은 랭크 보정을 조합하여 이중 수준 조건화 방법을 구성한다.
• 낮은 랭크 근사는 슈어 여백 AΓ에 대해 Nystr"om 방법을 적용함으로써 계산되며, 이는 0에서 잘 분리된 고유값을 확보하기 위해 재구성된 형태로 수행된다. 이는 효과적인 랜덤 샘플링을 가능하게 한다.
• AΓ를 포함하는 내부 시스템은 느슨한 수렴 기준으로 블록 공액 기울기법을 사용해 풀어 조건화 방법의 구축 비용을 크게 감소시킨다.
• 최종적으로 유도된 조건화 방법은 공액 기울기법에 적용되며, 조건화된 시스템의 기대 스펙트럼 조건수에 대한 이론적 경계가 제공된다.
• 이 방법은 다양한 분야에서의 응용(예: 구조역학 및 유한요소 문제)에서 유래한 다양한 SPD 행렬에 대해 구현 및 테스트되었다.

실험 결과

연구 질문

• RQ1 일般적으로 주요 고유값에 초점이 맞춰지는 데 비해, 가장 작은 고유값에 초점을 맞춘 탈출 부분공간을 구성하기 위해 랜덤화된 Nystr"om 방법이 효과적으로 적용될 수 있는가?
• RQ2 낮은 랭크 근사와 관련된 고유값 문제는 어떻게 재구성되어야 하며, 이로써 0에서 잘 분리된 고유값을 확보하고 랜덤화 해법의 효율적 적용이 가능하게 할 수 있는가?
• RQ3 내부 슈어 여백 시스템의 해법에서 느슨한 수렴 기준을 사용할 경우, 얻어진 이중 수준 조건화 방법의 품질과 견고성에 어떤 영향을 미치는가?
• RQ4 제안된 이중 수준 Nystr"om–Schur 조건화 방법은 IC나 HSL_MI28와 같은 표준 일중 수준 조건화 방법보다 더 나은 수렴 행동을 보일 수 있는가? 특히 조건수가 나쁜 문제에 대해서는 어떻게 되는가?
• RQ5 이 방법을 사용할 경우, 조건화된 시스템의 기대 스펙트럼 조건수에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 제안된 이중 수준 Nystr"om–Schur 조건화 방법은 특히 스펙트럼 조건수가 높은 큰 불안정한 SPD 시스템에서 공액 기울기법의 수렴을 크게 향상시킨다.
• 블록 공액 기울기법을 사용해 내부 슈어 여백 시스템을 느슨한 기준(예: 10^-2)으로 풀었을 때, 최소한의 비용으로도 높은 품질의 조건화 방법을 유지할 수 있었으며, 이는 낮은 PCG 반복 횟수로 입증되었다.
• 71개의 SPD 행렬(크기 n은 5K에서 100K 사이)을 대상으로 한 테스트 세트에서, Nystr"om–Schur 조건화 방법의 M2 변형은 어려운 문제에서 HSL_MI28와 유사한 반복 횟수를 기록했고, eS1보다 우수한 성능을 보였다. 성능 프로파일 분석 결과 강력한 견고성이 입증되었다.
• 이 방법은 조건화된 시스템의 기대 스펙트럼 조건수에 사용자 정의 상한을 제공하여, 수렴 행동에 대한 이론적 신뢰를 확보한다.
• 수치 실험 결과, 조건화 방법의 구축 비용이 매우 낮았다. 예를 들어, bcsstk38의 경우 46번의 PCG 반복, ela2d의 경우 72번의 반복으로만 이루어져 실용적 효율성을 입증했다.
• 성능 프로파일 분석 결과, Nystr"om–Schur 조건화 방법은 다양한 문제에서 HSL_MI28와 경쟁하거나 그에 미치지 못하는 경우가 없었으며, 특히 일중 수준 방법이 실패하는 경우에 뛰어난 성능을 보였다.