[논문 리뷰] Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models

Dehua Cheng, Yu Cheng외 3명|arXiv (Cornell University)|2014. 10. 20.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 5

한 줄 요약

이 논문은 대칭 대각선 우세(SDD) 행렬의 인수분해를 위한 거의 최적의 확장 가능한 병렬 알고리즘을 제시하며, SDD 정밀도 행렬을 가진 가우시안 그래픽 모델에서의 효율적 샘플링을 가능하게 한다. 행렬 제곱, 스펙트럼 희소화, 다항식 근사의 조합을 통해 이 방법은 병렬 기계에서 거의 선형 작업량과 다중로그 시간 복잡도를 달성하며, 오직 $ n $개의 i.i.d. 단변량 가우시안 샘플과 최적의 난수 복잡도로 샘플링을 가능하게 한다.

ABSTRACT

Motivated by a sampling problem basic to computational statistical inference, we develop a nearly optimal algorithm for a fundamental problem in spectral graph theory and numerical analysis. Given an $n imes n$ SDDM matrix ${\bf \mathbf{M}}$, and a constant $-1 \leq p \leq 1$, our algorithm gives efficient access to a sparse $n imes n$ linear operator $ ilde{\mathbf{C}}$ such that $${\mathbf{M}}^{p} \approx ilde{\mathbf{C}} ilde{\mathbf{C}}^ op.$$ The solution is based on factoring ${\bf \mathbf{M}}$ into a product of simple and sparse matrices using squaring and spectral sparsification. For ${\mathbf{M}}$ with $m$ non-zero entries, our algorithm takes work nearly-linear in $m$, and polylogarithmic depth on a parallel machine with $m$ processors. This gives the first sampling algorithm that only requires nearly linear work and $n$ i.i.d. random univariate Gaussian samples to generate i.i.d. random samples for $n$-dimensional Gaussian random fields with SDDM precision matrices. For sampling this natural subclass of Gaussian random fields, it is optimal in the randomness and nearly optimal in the work and parallel complexity. In addition, our sampling algorithm can be directly extended to Gaussian random fields with SDD precision matrices.

연구 동기 및 목표

• SDD 정밀도 행렬을 갖는 가우시안 랜덤 필드에 대한 확장 가능한 병렬 샘플링 알고리즘을 개발하여 순차적 게이브스 샘플링의 한계를 해결한다.
• 거의 선형 총 작업량과 다중로그 병렬 깊이를 달성하여 대규모 통계 추론에 적합하게 한다.
• 오직 $ n $개의 i.i.d. 단변량 가우시안 샘플만 요구함으로써 난수 복잡도를 최소화하며, 이는 최적이다.
• SDD 시스템에 대한 거의 선형 작업량 해법의 프레임워크를 그래픽 모델의 샘플링 문제로 확장한다.
• SDDM 행렬에 대해 $ p \in [-1,1] $에 대해 $ \mathbf{M}^p \approx \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T $의 효율적이고 희소한 인수분해를 가능하게 하는 특성화를 제공한다.

제안 방법

• 이 방법은 SDDM 행렬의 반복적 행렬 제곱과 스펙트럼 희소화를 통해 희소이고 낮은 질량의 근사값 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx \mathbf{M}^p $을 구성한다.
• Chebyshev 다항식 근사를 $ T_{-\frac{1}{2}p,t}(\cdot) $를 통해 행렬 함수 $ (\mathbf{I} - \mathbf{X})^p $를 근사함으로써 효율적인 계산을 가능하게 한다.
• 각 수준에서 변환 $ T_{-\frac{1}{2}p,t_i}(\mathbf{I} + \frac{1}{2}\mathbf{X}_i) $를 적용하는 재귀적 인수분해 프레임워크를 사용하여 근사값을 정밀화한다.
• 특히 $ p = -1 $인 경우, 정확도를 $ \epsilon $-근사로 향상시키기 위해 다항식 조절자 기반 반복 정밀화 절차를 적용하며, 이는 $ O(\log(1/\epsilon)) $ 차수의 다항식으로 달성된다.
• 구성 과정은 총 오차가 $ \sum_{j=0}^d \epsilon_j $로 누적되며, 각 단계는 $ \epsilon_j $-근사로 제한된다.
• 최종 인수 $ \tilde{\mathbf{C}} $는 $ \mathbf{Z}_{-\frac{1}{2},0} $로 정의되며, 이는 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx_{\sum \epsilon_j} \mathbf{M}^{-1} $를 만족한다.

실험 결과

연구 질문

• RQ1 SDD 정밀도 행렬을 갖는 가우시안 그래픽 모델에서 샘플링에 대해 거의 선형 작업량과 다중로그 복잡도를 달성할 수 있는가?
• RQ2 오직 $ n $개의 i.i.d. 단변량 가우시안 샘플만을 사용하여 $ p \in [-1,1] $에 대해 희소 인수분해 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx \mathbf{M}^p $를 구성할 수 있는가?
• RQ3 거의 선형 SDD 해법의 프레임워크를 확장하여 그래픽 모델에서의 효율적 병렬 샘플링을 가능하게 할 수 있는가?
• RQ4 SDDM 가우시안 필드에서 병렬 샘플링에 필요한 최소한의 난수 복잡도는 무엇인가?
• RQ5 반복 정밀화 기법을 사용하여 SDD 행렬의 고정밀 역제곱근 인수분해를 달성할 수 있는가?

주요 결과

• 알고리즘은 병렬 기계에서 $ m $개의 프로세서를 사용할 때, SDDM 행렬의 비제로 원소 수인 $ m $에 대해 거의 선형 작업량 $ O(m \cdot \text{polylog}(m)) $ 과 다중로그 복잡도 $ \text{polylog}(m) $ 를 달성한다.
• 샘플링을 위해 오직 $ n $개의 i.i.d. 단변량 가우시안 샘플만 요구되며, 이는 난수 복잡도에서 최적이며, $ n $차원 가우시안 랜덤 필드에서 샘플을 생성하는 데에 충분하다.
• 구성된 인수 $ \tilde{\mathbf{C}} $ 는 $ \tilde{\mathbf{C}}\tilde{\mathbf{C}}^T \approx_{\epsilon} \mathbf{M}^p $ 를 만족하며, 오차는 각 수준의 근사 오차 합으로 제한된다.
• 특히 $ p = -1 $인 경우, 반복 정밀화 절차는 $ O(\log(1/\epsilon)) $ 차수의 다항식을 사용하여 $ \epsilon $-정확도의 역행렬 인수분해를 달성한다.
• SDD와 H-행렬 간의 상호 환원 가능성에 기반하여, 이 프레임워크는 SDD 행렬(항상 양의 정부호일 필요는 없음)으로도 확장 가능하다.
• 이 알고리즘은 난수 복잡도에서 최적이면서도 작업량과 깊이에서 거의 최적인 첫 번째 병렬 샘플링 방법을 제공한다.