[논문 리뷰] Efficient Structured Matrix Recovery and Nearly-Linear Time Algorithms for Solving Inverse Symmetric $M$-Matrices

Arun Jambulapati, Kirankumar Shiragur외 1명|arXiv (Cornell University)|2018. 12. 15.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 5

한 줄 요약

이 논문은 라플라시안 행렬과 SDD 행렬을 포함하는 광범위한 클래스인 역대칭 M-행렬을 해결하기 위한 거의 선형 시간 알고리즘을 제시한다. 이는 다항로그적 적응형 선형 측정을 통해 스펙트럼 근사값을 복구하는 방식이다. 주요 기여는 표준 행렬 곱셈 기반 방법의 $O(n^\rho)$ 시간에 비해 훨씬 향상된 $\tilde{O}(n^2)$ 시간 알고리즘을 통해 이러한 시스템을 해결하는 데 있다.

ABSTRACT

In this paper we show how to recover a spectral approximations to broad classes of structured matrices using only a polylogarithmic number of adaptive linear measurements to either the matrix or its inverse. Leveraging this result we obtain faster algorithms for variety of linear algebraic problems. Key results include: $\bullet$ A nearly linear time algorithm for solving the inverse of symmetric $M$-matrices, a strict superset of Laplacians and SDD matrices. $\bullet$ An $ ilde{O}(n^2)$ time algorithm for solving $n imes n$ linear systems that are constant spectral approximations of Laplacians or more generally, SDD matrices. $\bullet$ An $ ilde{O}(n^2)$ algorithm to recover a spectral approximation of a $n$-vertex graph using only $ ilde{O}(1)$ matrix-vector multiplies with its Laplacian matrix. The previous best results for each problem either used a trivial number of queries to exactly recover the matrix or a trivial $O(n^ω)$ running time, where $ω$ is the matrix multiplication constant. We achieve these results by generalizing recent semidefinite programming based linear sized sparsifier results of Lee and Sun (2017) and providing iterative methods inspired by the semistreaming sparsification results of Kapralov, Lee, Musco, Musco and Sidford (2014) and input sparsity time linear system solving results of Li, Miller, and Peng (2013). We hope that by initiating study of these natural problems, expanding the robustness and scope of recent nearly linear time linear system solving research, and providing general matrix recovery machinery this work may serve as a stepping stone for faster algorithms.

연구 동기 및 목표

• 역대칭 M-행렬에 속하는 선형 시스템을 효율적으로 해결하기 위한 알고리즘을 개발하는 것.
• 라플라시안 행렬과의 행렬-벡터 곱을 $ tilde{O}(1)$번 이내로 사용하여 $n$-정점 그래프의 스펙트럼 근사값을 복구하는 것.
• 기존 방법이 그래프의 구조가 존재함에도 불구하고 빠른 행렬 곱셈($O(n^\rho)$ 시간)에 의존하는 한계를 극복하는 것.
• 최근의 준금속 프로그래밍 및 스퍼서피케이션 기법을 일반화하여 거의 선형 시간의 행렬 복구 및 시스템 해법을 가능하게 하는 것.
• 적은 수의 적응형 측정을 사용하여 구조적 행렬 복구를 위한 일반적 프레임워크를 수립하고, 증명 가능 보장을 제공하는 것.

제안 방법

• 스펙트럼 근사값을 다항로그적 쿼리 복잡도로 복구하기 위해 행렬 또는 그 역행렬에 대한 적응형 선형 측정을 활용한다.
• Lee와 Sun(2017)의 준금속 프로그래밍 기반 스퍼서피케이션 기법을 구조적 행렬에 적응 및 확장한다.
• Kapralov 등(2014)의 반스트리밍 스퍼서피케이션 및 Li 등(2013)의 입력-스패arsity 선형 시스템 해법에 영감을 얻은 반복적 방법을 적용한다.
• 오라클 구현에서 행렬 내적과 이차형식을 효율적으로 근사하기 위해 Johnson-Lindenstrauss 스케치를 사용한다.
• 속도 $1/2$와 오차 $\varepsilon$를 갖는 특수 오라클 ($\mathtt{MOracle}$)을 설계하였으며, 이는 $\widetilde{O}\left(\frac{1}{\gamma^4\rho^{O(1)}}\left(\mathcal{T}_{\mathbf{B}} + \mathcal{T}_{\mathbf{B}^{-1}} + \mathcal{T}_{MV} + \mathcal{T}_{QF}\right)\right)$ 시간 내에 실행된다.
• 다중적 근사값을 갖는 목적 계수와 제약 벡터를 가진 변환된 최적화 문제를 해결하기 위해 팩킹 준금속 프로그래밍 결과(정리 5.1)를 적용한다.

실험 결과

연구 질문

• RQ1 역대칭 M-행렬과 같은 구조적 행렬의 스펙트럼 근사값은 다항로그적 적응형 선형 측정만으로 복구될 수 있는가?
• RQ2 행렬이 조밀할지라도 역대칭 M-행렬의 선형 시스템을 거의 선형 시간 내에 해결할 수 있는가?
• RQ3 라플라시안과의 행렬-벡터 곱을 $ tilde{O}(1)$번 이내로 사용하여 $n$-정점 그래프의 스펙트럼 스퍼서파이어를 복구할 수 있는가?
• RQ4 거의 선형 시간 선형 시스템 해법의 강건성을 라플라시안을 초월하여 더 넓은 행렬 클래스로 확장할 수 있는가?
• RQ5 기존에 빠른 행렬 곱셈에 의존하던 문제들을 위한 더 빠른 알고리즘을 가능하게 하는 일반적인 행렬 복구 기반 기계를 개발할 수 있는가?

주요 결과

• 라플라시안 또는 SDD 행렬의 상수 스펙트럼 근사값을 갖는 $n \times n$ 선형 시스템을 해결하기 위한 $ tilde{O}(n^2)$ 시간 알고리즘이 달성되었다.
• 대칭 $M$-행렬의 역행렬을 해결하기 위한 거의 선형 시간 알고리즘이 개발되었으며, 이는 라플라시안과 SDD 행렬을 특수 케이스로 포함한다.
• 논문은 대칭 $M$-행렬의 역행렬이 블록 분리 가능하거나 조밀할 수 있음을 보여주며, 두 경우 모두 거의 선형 시간으로 해결 가능하다.
• $n$-정점 그래프의 스펙트럼 근사값은 라플라시안 행렬과의 행렬-벡터 곱을 $ tilde{O}(1)$번 이내로 사용하여 복구할 수 있다.
• 제안된 오라클 ($\mathtt{MOracle}$)은 $\widetilde{O}\left(\frac{1}{\gamma^4\rho^{O(1)}}\left(\mathcal{T}_{\mathbf{B}} + \mathcal{T}_{\mathbf{B}^{-1}} + \mathcal{T}_{MV} + \mathcal{T}_{QF}\right)\right)$ 시간 내에 실행되어 효율적인 구현을 가능하게 한다.
• 프레임워크는 $O(\mathcal{W}_{L,\delta} \log m \cdot \log(nm/\delta)/\delta^3)$ 시간 내에 높은 확률로 최적화 문제의 $(1 - O(\delta))$-근사해를 도출한다.