[논문 리뷰] A Fast Distributed Solver for Symmetric Diagonally Dominant Linear Equations

Rasul Tutunov, Haitham Bou-Ammar외 1명|arXiv (Cornell University)|2015. 02. 11.

Matrix Theory and Algorithms참고 문헌 14인용 수 8

한 줄 요약

이 논문은 스피르만과 펜그의 병렬 풀이기를 기반으로 하여 대칭 대각선 우세 M행렬(SDDM)에 대한 빠른 분산 풀이기를 제안한다. 이는 $\epsilon$-근접 해를 $\mathcal{O}\left(n^{3}\frac{\alpha}{R}\frac{W_{\text{max}}}{W_{\text{min}}}\log\left(\frac{1}{\epsilon}\right)\right)$ 시간 내에 도달하며, 기존 방법보다 각각 $\log n$ 및 $d(n)$의 요소로 향상된다.

ABSTRACT

In this paper, we propose a fast distributed solver for linear equations given by symmetric diagonally dominant M-Matrices. Our approach is based on a distributed implementation of the parallel solver of Spielman and Peng by considering a specific approximated inverse chain which can be computed efficiently in a distributed fashion. Representing the system of equations by a graph $\mathbb{G}$, the proposed distributed algorithm is capable of attaining $ε$-close solutions (for arbitrary $ε$) in time proportional to $n^{3}$ (number of nodes in $\mathbb{G}$), $α$ (upper bound on the size of the R-Hop neighborhood), and $\frac{{W}_{max}}{{W}_{min}}$ (maximum and minimum weight of edges in $\mathbb{G}$).

연구 동기 및 목표

• 대칭 대각선 우세 M행렬(SDDM) 선형 시스템을 해결하기 위한 확장 가능하고 분산된 알고리즘을 개발하는 것.
• 스피르만과 펜그의 병렬 풀이기를 효율적인 통신을 갖춘 탈중앙화된 분산 환경으로 확장하는 것.
• 자지와 최근의 이방형 풀이기와 같은 기존 반복 방법보다 더 빠른 수렴을 달성하는 것.
• 분산 제약 조건 하에 낮은 계산 복잡도를 유지하면서 일반 SDDM 시스템에 대해 수렴을 보장하는 것.
• 분산 네트워크에서 $\epsilon$-정확한 해를 얻기 위한 연산 수를 분석하고 상한을 설정하는 것.

제안 방법

• 스피르만과 펜그의 병렬 희소 근사 역행렬 체인 풀이기를 탈중앙화된 계산에 적합하게 변형하여 분산한다.
• R-호프 이웃 통신 모델을 사용하여, 정보 교환을 R개의 홉 이내의 노드로 제한함으로써 오버헤드를 줄인다.
• 수렴을 보장하기 위해 깊이 $d = \lceil \log(2\ln(\sqrt[3]{2}/(\sqrt[3]{2}-1))\kappa) \rceil$ 를 갖는 근사 역행렬 체인 $\mathcal{C} = \{\bm{A}_0, \bm{D}_0, \dots, \bm{A}_d, \bm{D}_d\}$ 을 구성한다.
• 체인 기반의 분산 반복 과정을 통해 국소 행렬 연산과 이웃 통신을 활용하여 해를 계산한다.
• 해는 $\bm{M}_0$-노름에서 $\epsilon$-근사해를 보장하며, 이는 $\|\bm{x}^* - \tilde{\bm{x}}\|_{\bm{M}_0} \leq \epsilon \|\bm{x}^*\|_{\bm{M}_0}$ 으로 정의된다.
• 복잡도는 $\mathcal{O}\left(n^3 \frac{\alpha}{R} \frac{W_{\text{max}}}{W_{\text{min}}} \log(1/\epsilon)\right)$ 로 상한이 설정되며, 여기서 $\alpha$ 는 R-호프 이웃 크기의 상한이다.

실험 결과

연구 질문

• RQ1 스피르만과 펜그의 병렬 SDDM 풀이기를 통신 능력이 제한된 노드 네트워크에 효과적으로 분산 적용할 수 있는가?
• RQ2 R-호프 통신 제약 조건 하에 분산 환경에서 $\epsilon$-정확한 해를 얻기 위한 계산 복잡도는 얼마인가?
• RQ3 제안된 분산 풀이기는 자지 및 이방형 풀이기와 같은 기존 반복 방법과 비교해 성능가능성이 있는가?
• RQ4 그래프 가중치와 이웃 크기가 분산 알고리즘의 수렴 속도에 미치는 영향은 무엇인가?
• RQ5 전역 조율나 희소 행렬 분해 없이도 분산 알고리즘이 빠른 수렴을 유지할 수 있는가?

주요 결과

• 제안된 분산 풀이기는 $\mathcal{O}\left(n^3 \frac{\alpha}{R} \frac{W_{\text{max}}}{W_{\text{min}}} \log(1/\epsilon)\right)$ 시간 내에 $\epsilon$-근접 해를 도달하며, $\alpha = \min\left\{n, \frac{d_{\text{max}}^{R+1}-1}{d_{\text{max}}-1}\right\}$ 이다.
• 일반 SDDM 시스템에서 자지 반복보다 계산 복잡도에서 $\log n$ 배 향상된다.
• 일반적인 경우에서 최근의 이방형 풀이기 [16] 보다 최대 노드 차수 $d(n)$ 배 빠르게 성능을 냈다.
• 모든 대칭 대각선 우세 M행렬에 대해 수렴을 보장하며, 기존 반복 풀이기의 엄격한 대각선 우세 가정을 일반화한다.
• 깊이 $d = \lceil \log(2\ln(\sqrt[3]{2}/(\sqrt[3]{2}-1))\kappa) \rceil$ 를 갖는 근사 역행렬 체인의 사용은 $\epsilon_d < \frac{1}{3}\ln 2$ 를 보장하며, 이는 수렴에 필수적이다.
• 분산 구현은 노드당 거의 선형 작업과 최악의 경우 다항 로그 깊이를 유지하며, 원래 병렬 풀이기의 이론적 효율성과 일치한다.