[논문 리뷰] Spectral Sparsification of Random-Walk Matrix Polynomials

Dehua Cheng, Yu Cheng외 3명|arXiv (Cornell University)|2015. 02. 12.

Matrix Theory and Algorithms참고 문헌 6인용 수 10

한 줄 요약

이 논문은 랜덤워크 매트릭스 다항식 $\mathbf{L}_{\bm{\alpha}}(G) = \mathbf{D} - \sum_{r=1}^{d} \alpha_r \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r$에 대한 처음으로 거의 선형 시간 알고리즘을 제안한다. 이 알고리즘은 $O(n\log n/\epsilon^2)$개의 비제로 원소를 가지며 $O(d^2 m \log^2 n / \epsilon^2)$의 시간에 $\tilde{\mathbf{L}} \approx_{\epsilon} \mathbf{L}_{\bm{\alpha}}(G)$를 달성한다. 방법론은 경로 샘플링과 스펙트럴 스파스피파이어 조합을 사용하여 고차수의 랜덤워크 전이를 효율적으로 근사한다.

ABSTRACT

We consider a fundamental algorithmic question in spectral graph theory: Compute a spectral sparsifier of random-walk matrix-polynomial $$L_α(G)=D-\sum_{r=1}^dα_rD(D^{-1}A)^r$$ where $A$ is the adjacency matrix of a weighted, undirected graph, $D$ is the diagonal matrix of weighted degrees, and $α=(α_1...α_d)$ are nonnegative coefficients with $\sum_{r=1}^dα_r=1$. Recall that $D^{-1}A$ is the transition matrix of random walks on the graph. The sparsification of $L_α(G)$ appears to be algorithmically challenging as the matrix power $(D^{-1}A)^r$ is defined by all paths of length $r$, whose precise calculation would be prohibitively expensive. In this paper, we develop the first nearly linear time algorithm for this sparsification problem: For any $G$ with $n$ vertices and $m$ edges, $d$ coefficients $α$, and $ε> 0$, our algorithm runs in time $O(d^2m\log^2n/ε^{2})$ to construct a Laplacian matrix $ ilde{L}=D- ilde{A}$ with $O(n\log n/ε^{2})$ non-zeros such that $ ilde{L}\approx_εL_α(G)$. Matrix polynomials arise in mathematical analysis of matrix functions as well as numerical solutions of matrix equations. Our work is particularly motivated by the algorithmic problems for speeding up the classic Newton's method in applications such as computing the inverse square-root of the precision matrix of a Gaussian random field, as well as computing the $q$th-root transition (for $q\geq1$) in a time-reversible Markov model. The key algorithmic step for both applications is the construction of a spectral sparsifier of a constant degree random-walk matrix-polynomials introduced by Newton's method. Our algorithm can also be used to build efficient data structures for effective resistances for multi-step time-reversible Markov models, and we anticipate that it could be useful for other tasks in network analysis.

연구 동기 및 목표

• 랜덤워크 매트릭스 다항식에 대한 알고리즘적 과제를 해결한다. 이는 행렬 거듭제곱으로 인해 밀도가 높고 계산 비용이 큰 이유로 인해 어려운 문제이다.
• 스파스피파이제이션을 통해 시간에 역행 가능한 마르코프 모델에서 역 제곱근과 $q$-번째 루트 전이를 효율적으로 계산할 수 있도록 한다.
• 수치 해법에서 발생하는 복잡한 매트릭스 다항식의 스펙트럴 유사한 희소 근사치를 구성하기 위한 확장 가능한 거의 선형 시간 알고리즘을 개발한다.
• 직접 $ (\mathbf{D}^{-1}\mathbf{A})^r $을 계산하는 데 드는 비용을 피하기 위해 행렬 거듭제곱을 계산하는 대신 경로를 샘플링한다.
• 네트워크 분석과 가우시안 그래픽 모델에서 효과적 저항에 대한 더 빠른 데이터 구조 및 개선된 알고리즘을 위한 기반을 제공한다.

제안 방법

• 각 단항식 $ \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r $을 길이 $ r $인 경로에 대응하는 인cidenc 벡터의 합으로 표현하기 위해 경로 샘플링을 사용한다.
• 효율적 저항 비례 확률을 사용한 간선 샘플링을 통해 스펙트럴 스파스피파이어를 구성하며, 경로 유도 매트릭스의 구조를 활용한다.
• 각 단항식 $ \mathbf{M}_r = \mathbf{D}_r - \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r + \mathbf{D}_{\text{extra}} $를 라플라시안과 대각 행렬 보정으로 분해하여 스파스피파이제이션을 가능하게 한다.
• 레퍼런스 5.2를 사용하여 경로 간선의 역 효과적 저항를 제한함으로써 샘플링에 대한 농도 한계를 확보한다.
• 스파스피파이드 경로 그래프를 조합하고 행렬-벡터 곱셈을 통해 대각 보정 $ \mathbf{D}_{\text{extra}} $를 계산하여 최종 스파스피파이어 $ \tilde{\mathbf{L}} $를 구성한다.
• 개별 단항식의 스파스피파이어를 스펙트럴 유사성과 오차 전파를 통해 조합하여 $ \tilde{\mathbf{L}} \approx_{\epsilon} \mathbf{L}_{\bm{\alpha}}(G) $를 달성한다.

실험 결과

연구 질문

• RQ1 형태가 $ \mathbf{L}_{\bm{\alpha}}(G) = \mathbf{D} - \sum_{r=1}^{d} \alpha_r \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r $인 랜덤워크 매트릭스 다항식에 대해 스펙트럴 스파스피파이제이션을 효율적으로 수행할 수 있는가?
• RQ2 직접 $ (\mathbf{D}^{-1}\mathbf{A})^r $을 형성하는 데 드는 계산 비용을 피하기 위해 행렬 거듭제곱을 계산하는 대신 경로를 샘플링하는 것이 가능한가?
• RQ3 차수 $ d $가 유한한 경우조차도, 거의 선형 시간 알고리즘을 설계하여 다항식 스파스피파이제이션을 수행할 수 있는가?
• RQ4 상호작용하지 않는 행렬 항을 포함한 여러 단항식 간의 스펙트럴 유사성을 유지할 수 있는가?
• RQ5 이 접근법을 거의 선형 시간 내에 임의의 차수 $ d $의 랜덤워크 매트릭스 다항식을 스파스피파이징하는 데 일반화할 수 있는가?

주요 결과

• 알고리즘은 $ O(n\log n/\epsilon^2) $개의 비제로 원소를 가지며 $ O(d^2 m \log^2 n / \epsilon^2) $의 시간에 $ \mathbf{L}_{\bm{\alpha}}(G) $의 스펙트럴 스파스피파이어 $ \tilde{\mathbf{L}} $를 구성한다.
• 스파스피파이어는 $ \tilde{\mathbf{L}} \approx_{\epsilon} \mathbf{L}_{\bm{\alpha}}(G) $를 만족하며, 이는 [ST11]에서 정의한 바와 같이 $ (1-\epsilon)\mathbf{L}_{\bm{\alpha}} \preceq \tilde{\mathbf{L}} \preceq (1+\epsilon)\mathbf{L}_{\bm{\alpha}} $를 의미한다.
• 직접 행렬 거듭제곱을 계산하지 않고 효과적 저항 기반 샘플링을 통해 경로를 샘플링함으로써 거의 선형 시간 복잡도를 달성한다.
• 이 알고리즘은 가우시안 그래픽 모델에서 역 제곱근 계산 및 시간에 역행 가능한 마르코프 체인에서 $ q $-번째 루트 전이와 같은 핵심 문제에 적용 가능하다.
• 짝수 차수 단항식에 대해서는 $ \epsilon = 1/\log d $의 유한 오차 허용 범위 내에서 적용 가능하며, 이 프레임워크는 고차수 다항식으로도 확장 가능하다.
• $ \mathbf{D}_{\text{extra}} $의 구성은 행렬-벡터 곱셈을 통해 효율적이며, 대각 보정 항을 정확하게 계산할 수 있다.