[논문 리뷰] Nearly-Linear Time Algorithms for Preconditioning and Solving Symmetric, Diagonally Dominant Linear Systems

Daniel A. Spielman, Shang‐Hua Teng|arXiv (Cornell University)|2006. 07. 24.

Matrix Theory and Algorithms참고 문헌 24인용 수 70

한 줄 요약

이 논문은 그래프 이론적 기법을 활용해 초스피ars라이저를 구성함으로써 대칭적이고 대각우세인(SDD) 선형 시스템을 거의 선형 시간에 해결하는 알고리즘을 제시한다. 이 방법은 초스피어라이저를 통해 구조를 구성함으로써, SDD 시스템을 해결하는 데 기대 시간 복잡도 O(m log^c n log(1/ǫ))를 달성하며, Fiedler 벡터 계산 및 희소 행렬 조건수 조절에 적용 가능하다.

ABSTRACT

We present a randomized algorithm that, on input a symmetric, weakly diagonally dominant n-by-n matrix A with m nonzero entries and an n-vector b, produces a y such that $ orm{y - \pinv{A} b}_{A} \leq ε orm{\pinv{A} b}_{A}$ in expected time $O (m \log^{c}n \log (1/ε)),$ for some constant c. By applying this algorithm inside the inverse power method, we compute approximate Fiedler vectors in a similar amount of time. The algorithm applies subgraph preconditioners in a recursive fashion. These preconditioners improve upon the subgraph preconditioners first introduced by Vaidya (1990). For any symmetric, weakly diagonally-dominant matrix A with non-positive off-diagonal entries and $k \geq 1$, we construct in time $O (m \log^{c} n)$ a preconditioner B of A with at most $2 (n - 1) + O ((m/k) \log^{39} n)$ nonzero off-diagonal entries such that the finite generalized condition number $κ_{f} (A,B)$ is at most k, for some other constant c. In the special case when the nonzero structure of the matrix is planar the corresponding linear system solver runs in expected time $ O (n \log^{2} n + n \log n \ \log \log n \ \log (1/ε))$. We hope that our introduction of algorithms of low asymptotic complexity will lead to the development of algorithms that are also fast in practice.

연구 동기 및 목표

• 대칭적이고 약간의 대각우세성을 가진(SDD0) 선형 시스템을 거의 선형 시간에 해결할 수 있는 알고리즘을 개발하는 것.
• 조밀성은 유지하면서 일반화된 조건수를 낮추는 데 기여하는 조건수 조절자 구축 방법을 설계하는 것.
• 해법에 역거듭제곱법을 적용하여 근사 Fiedler 벡터를 효율적으로 계산할 수 있도록 하는 것.
• 평면적 희소성 구조로 알고리즘 확장하여, 개선된 O(n log²n + n log n log log n log(1/ǫ)) 실행 시간을 달성하는 것.
• 그래프 이론적 조건수 조절을 통한 반복적 해법의 실용적 가속화를 위한 이론적 기초를 제공하는 것.

제안 방법

• 연관된 가중치가 부여된 그래프의 부분그래프 H를 사용하여 SDD0 행렬 A에 대한 조건수 조절자 B를 구성하며, H는 그래프 G의 초스피어라이저이다.
• 초스피어라이저에서 유도된 조건수 조절자를 사용하여, 조건부 공액 기울기 또는 체비셰프 방법을 반복적으로 적용하는 것.
• 선형 시간 내에 시스템 크기를 줄이기 위해 부분 콜레스키 분해를 사용하며, 조밀성을 유지하고 재귀적 해법을 가능하게 한다.
• 희소한 부분그래프에서 유도된 조건수 조절자를 반복적으로 구축하는 다수준 알고리즘을 적용하며, 저스트레치 스패닝 트리를 활용한다.
• 초스피어라이저를 구축하기 위해 TreeUltraSparsify 및 RootedUltraSparsify 서브루틴을 사용하여 간선 수와 스펙트럼 근사도를 제어한다.
• 지지 이론과 스펙트럼 그래프 이론을 활용하여 유한한 일반화된 조건수 κf(A, B) ≤ k를 유 bounds하며 수렴 속도를 보장한다.

실험 결과

연구 질문

• RQ1 그래프 기반 조건수 조절자를 사용하여 대칭적이고 대각우세인 선형 시스템을 거의 선형 시간에 해결할 수 있는가?
• RQ2 일반화된 조건수를 유한하게 유지하기 위해 필요한 최소한의 비영원 비대각원소 수는 얼마인가?
• RQ3 스펙트럼 근사도를 유지하면서 간선 수를 줄이는 데 효율적인 초스피어라이저를 어떻게 구성할 수 있는가?
• RQ4 행렬의 구조가 평면적일 경우 SDD 시스템을 해결하는 데 필요한 점근적 복잡도는 얼마인가?
• RQ5 최종적으로 도출된 해법을 사용하여 역거듭제곱법을 적용해 근사 Fiedler 벡터를 효율적으로 계산할 수 있는가?

주요 결과

• 알고리즘은 대칭적이고 약간의 대각우세성을 가진 선형 시스템을 기대 시간 복잡도 O(m log^c n log(1/ǫ)) 내에서 해결한다. 여기서 c는 어떤 상수이다.
• 비대각원소가 음수인 SDD0 행렬 A와 k ≥ 1에 대해, 조건수 조절자 B는 O(m log^c n) 시간 내에 구성되며, 비대각원소의 비영원 수는 최대 2(n−1) + O((m/k) log^39 n) 이하이다.
• 유한한 일반화된 조건수 κf(A, B) ≤ k를 만족하며, 반복적 해법의 수렴 속도를 보장한다.
• 평면적 경우, 해법은 기대 시간 복잡도 O(n log²n + n log n log log n log(1/ǫ)) 내에서 실행된다.
• 제시된 시간 내에서 고확률적으로 ||˜x − A†b||_A ≤ ǫ||A†b||_A 를 만족하는 ˜x를 생성한다.
• 초스피어라이저 구축 알고리즘인 UltraSparsify는 기대 시간 복잡도 O(m log^c n) 내에서 실행되며, 고확률적으로 U ≼ E ≼ kU 를 만족하는 간선 집합 U 를 반환한다.