[논문 리뷰] Sparsified Cholesky Solvers for SDD linear systems

Yin Tat Lee, Richard Peng외 1명|arXiv (Cornell University)|2015. 06. 26.

Matrix Theory and Algorithms참고 문헌 14인용 수 22

한 줄 요약

이 논문은 대칭 대각선 우세(SDD) 및 라플라시안 행렬을 위한 희소화된 콜레스키 분해를 소개하며, 선형 작업과 다중로그형 깊이 해법기를 가능하게 한다. SDD 시스템을 해결하기 위해 재귀적 정점 희소화와 셸류 보완 근사치를 사용하여 희소 근사 역행렬을 구성함으로써, 거의 선형 작업과 $O(\text{polylog } n)$ 깊이를 달성한다.

ABSTRACT

We show that Laplacian and symmetric diagonally dominant (SDD) matrices can be well approximated by linear-sized sparse Cholesky factorizations. We show that these matrices have constant-factor approximations of the form $L L^{T}$, where $L$ is a lower-triangular matrix with a number of nonzero entries linear in its dimension. Furthermore linear systems in $L$ and $L^{T}$ can be solved in $O (n)$ work and $O(\log{n}\log^2\log{n})$ depth, where $n$ is the dimension of the matrix. We present nearly linear time algorithms that construct solvers that are almost this efficient. In doing so, we give the first nearly-linear work routine for constructing spectral vertex sparsifiers---that is, spectral approximations of Schur complements of Laplacian matrices.

연구 동기 및 목표

• SDD 선형 시스템을 해결하기 위한 거의 선형 작업과 다중로그형 깊이 알고리즘을 개발한다.
• 희소화된 콜레스키 분해를 사용하여 SDD 행렬의 희소 근사 역행렬을 구성한다.
• 스펙트럼 정점 희소화를 거의 선형 시간 내에 구축하기 위한 재귀적 프레임워크를 설계한다.
• 해법기 구축 시 기하급수적으로 감소하는 행렬 크기를 사용하여 조건수에 의존하지 않는 작업과 깊이를 달성한다.
• 조건수에 의존하지 않는 거의 선형 시간 알고리즘을 제공하여 깊이 $n^{o(1)}$인 해법기를 구축한다. 이는 이전 연구의 조건수 의존성에 비해 향상된 것이다.

제안 방법

• 낮은 차수의 정점 부분집합을 재귀적으로 제거하여 그래프 크기를 줄이면서 스펙트럼 근사도를 유지한다.
• 정점 제거 후 남은 그래프의 셸류 보완에 대해 스펙트럼 희소화(BSS12)를 적용한다.
• SDD 행렬의 역행렬을 근사하기 위해 $O(n)$개의 비영원소를 가진 희소 콜레스키 유사 분해 $\mathbf{L}\mathbf{L}^T$를 구성한다.
• 정점 희소화 체인의 재귀적 구성 방식을 사용하여, $O(\log^2 n \log\log n)$ 깊이와 해법기 적용 시 $O(n)$ 작업을 갖는 해법기를 구축한다.
• 더 큰 그래프의 셸류 보완 근사치를 활용하여 유한 차수 그래프를 시뮬레이션함으로써 깊이를 감소시킨다.
• 재귀적 알고리즘 $\textsc{RecursiveConstruct}_r$을 도입하여, 깊이 $O(n^{o(1)})$와 작업량 $O(m\log n + n\log^{2+o(1)}n)$을 갖는 해법기를 구축한다.

실험 결과

연구 질문

• RQ1 SDD 행렬은 $O(n)$개의 비영원소를 가진 희소 콜레스키 분해 $\mathbf{L}\mathbf{L}^T$로 거의 선형 작업으로 근사 가능할 수 있는가?
• RQ2 SDD 해법기의 깊이와 작업량을 조건수에 독립적으로 만들 수 있는가?
• RQ3 스펙트럼 정점 희소화를 거의 선형 시간과 다중로그형 깊이 내에 구축할 수 있는가?
• RQ4 재귀적 희소화와 셸류 보완 근사치를 사용하여 해법기 깊이를 $n^{o(1)}$으로 줄일 수 있는가?
• RQ5 희소화된 콜레스키 분해에서 구축 작업량과 해법기 깊이 사이의 상호 교환 관계는 무엇인가?

주요 결과

• 모든 SDD 행렬은 상수 요인 근사도를 갖는 역행렬을 근사하는 $O(n)$개의 비영원소를 가진 희소 콜레스키 분해 $\mathbf{L}\mathbf{L}^T$를 갖는다.
• 해법기는 $\mathbf{A}\mathbf{x} = \mathbf{b}$의 $\epsilon$-근사해를 $O(m\log\epsilon^{-1})$ 작업량과 $O(\log^2 n \log\log n \log\epsilon^{-1})$ 깊이로 계산할 수 있다.
• 재귀적 희소화 체인을 통해 거의 선형 작업과 $O(n^{o(1)})$ 깊이를 갖는 해법기를 구축할 수 있으며, 이는 $O(\log^{2+o(1)}n)$ 깊이로 시스템을 해결할 수 있다.
• 구축 시간은 $r = \log\log\log n$로 설정할 경우 $O(m\log n + n\log^{2+o(1)}n)$이며, 깊이는 $O(n^{o(1)})$이다.
• 해법기 구축 시 기하급수적으로 감소하는 행렬 크기를 사용함으로써 조건수 의존성을 피한다.
• 이 논문은 라플라시안 행렬의 셸류 보완에 대한 스펙트럼 정점 희소화를 구축하기 위한 첫 번째 거의 선형 작업 루틴을 제공한다.