[논문 리뷰] Fast hierarchical solvers for sparse matrices

Hadi Pouransari, Pieter Coulier외 1명|arXiv (Cornell University)|2015. 10. 26.

Matrix Theory and Algorithms인용 수 3

한 줄 요약

이 논문은 이차형 구조를 갖는 희소 행렬의 LU 분해를 계층적 낮은 질량 구조를 사용하여 근사화함으로써 선형 복잡도와 조절 가능한 정확도를 갖는 새로운 완전 대수적 희소 행렬 해법기를 제안한다. 이는 인접성 그래프의 잘 분리된 블록에서 필-인(영역) 근사를 낮은 질량 압축을 통해 구현하여, 직접적 해법 또는 GMRES와 같은 반복적 방법의 블랙박스 조절자로 효율적으로 사용할 수 있도록 한다.

ABSTRACT

Sparse linear systems are ubiquitous in various scientific computing applications. Inversion of sparse matrices with standard direct solve schemes are prohibitive for large systems due to their quadratic/cubic complexity. Iterative solvers, on the other hand, demonstrate better scalability. However, they suffer from poor convergence rates when used without a preconditioner. There are many preconditioners developed for different problems, such as ILU, AMG, Gauss-Seidel, etc. The choice of an effective preconditioner is highly problem dependent. We propose a novel fully algebraic sparse matrix solve algorithm, which has linear complexity with the problem size. Our scheme is based on the Gauss elimination. For a given matrix, we approximate the LU factorization with a tunable accuracy determined a priori. This method can be used as a stand-alone direct solver with linear complexity and tunable accuracy, or it can be used as a black-box preconditioner in conjunction with iterative methods such as GMRES. The proposed solver is based on the low-rank approximation of fill-ins generated during the elimination. Similar to H-matrices, fill-ins corresponding to blocks that are well-separated in the adjacency graph are represented via a hierarchical structure.

연구 동기 및 목표

• 문제 크기의 제곱 또는 세제곱 비례로 증가하는 계산 비용으로 인해 대규모 희소 선형 연립방정식의 직접 해법이 비효율적이 되는 문제를 해결하기 위해.
• 반복적 해법의 수렴 성능이 열악한 문제를 해결하기 위해, 조절 가능한 정확도를 갖는 강력하고 문제에 의존하지 않는 조절자를 개발하기 위해.
• 사전 오차 한계를 통해 정확도 제어가 가능한 선형 복잡도의 직접 해법기를 설계하기 위해.
• 가우스 소거법 중 발생하는 필-인에 대해 계층적 낮은 질량 근사를 적용하여 희소 선형 연립방정식의 효율적 해법을 가능하게 하기 위해.
• 문제 특화 조정 없이도 GMRES와 같은 반복적 방법과 호환되는 블랙박스 조절자로 제공하기 위해.

제안 방법

• 희소 행렬의 LU 분해를 가우스 소거법 중 발생하는 필-인 항목의 계층적 낮은 질량 압축을 통해 근사화하는 방법을 사용한다.
• 인접성 그래프의 구조를 활용하여 잘 분리된 블록을 식별하고, 이들의 필-인을 낮은 질량 행렬로 간주하여 저장 및 계산 비용을 감소시킨다.
• 사전에 조절 가능한 정확도 임계값을 설정하여 LU 분해의 근사 오차를 제어한다.
• 계층적 구조는 H-행렬 기법을 모방하며, 그래프에서의 분리 기반으로 반복적으로 블록을 분할하여 낮은 질량 압축을 적용한다.
• 이 해법기는 독립적으로 직접 해법기로 사용하거나, GMRES와 같은 Krylov 부분공간 반복 방법의 조절자로 사용할 수 있다.
• 희소성 패턴을 유지하면서도 필-인 항목을 낮은 질량 근사를 통해 압축함으로써 수치적 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 완전 대수적 희소 행렬 해법기가 문제 크기에 대해 선형 복잡도를 달성하면서도 조절 가능한 정확도를 유지할 수 있는가?
• RQ2 필-인에 대한 계층적 낮은 질량 근사는 희소 LU 분해에서 계산 비용을 얼마나 효과적으로 감소시킬 수 있는가?
• RQ3 제안된 해법기가 GMRES와 같은 반복적 해법기의 효과적인 블랙박스 조절자로 기능할 수 있는가?
• RQ4 문제 특화 조정 없이도 다양한 희소 행렬 문제에서 정확도를 유지할 수 있는가?
• RQ5 제안된 근사 기법에서 정확도와 계산 효율성 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 해법기는 문제 크기에 대해 선형 복잡도를 달성하여 기존의 직접 해법기보다 계산 비용에서 뚜렷이 뛰어나다.
• 사전 오차 제어를 통해 정확도를 조절할 수 있어 사용자가 속도와 정밀도 사이의 균형을 조정할 수 있다.
• 계층적 낮은 질량 근사를 통해 필-인 항목을 근사함으로써 메모리 사용량과 계산 시간이 모두 감소한다.
• GMRES에서 조절자로써의 성능이 뛰어나 반복적 방법의 수렴 속도를 빠르게 한다.
• 완전히 대수적이며 문제 특화 지식이 필요 없어 다양한 희소 행렬 유형에 널리 적용 가능하다.
• 전통적인 직접 해법기가 세제곱 복잡도로 인해 비가능해지는 대규모 시스템에 대해서도 효율적으로 스케일링된다.