[논문 리뷰] Solving Systems of Linear Equations: Locally and Asynchronously.

Christina Lee, Asuman Ozdaglar외 1명|arXiv (Cornell University)|2014. 11. 10.

Matrix Theory and Algorithms인용 수 12

한 줄 요약

이 논문은 대규모 희소 선형계수 $Ax = b$ 의 해의 단일 성분 $x_i$ 를 근사하기 위한 동기 및 이방성 랜덤화 국소 알고리즘을 제안한다. 이는 노이만 급수와 좌표별 갱신을 활용한다. $A$ 가 대각지배적이거나 양의 정부호이고 $G$ 가 차수 $d$ 가 유계인 희소 그래프일 경우, $d = O(1)$ 이고 $\|G\|_2 < 1$ 를 만족할 때, 각 성분에 대해 일정 시간 내에 $\epsilon$-정확도 근사를 달성하며 수렴 보장과 곱셈 횟수에 대한 날카로운 경계를 제공한다.

ABSTRACT

We consider approximating a single component of the solution to a system of linear equations $Ax = b$, where $A$ is an invertible real matrix and $b \in \mathbb{R}^n$. If $A$ is either diagonally dominant or positive definite, we can equivalently solve for $x_i$ in $x = Gx + z$ for some $G$ and $z$ such that spectral radius $ ho(G) < 1$. Existing algorithms either focus on computing the full vector $x$ or use Monte Carlo methods to estimate a component $x_i$ under the condition $\|G\|_{\infty} < 1$. We consider the setting where $n$ is large, yet $G$ is sparse, i.e., each row has at most $d$ nonzero entries. We present synchronous and asynchronous randomized variants of a local algorithm which relies on the Neumann series characterization of the component $x_i$, and allows us to limit the sparsity of the vectors involved in the computation, leading to improved convergence rates. Both variants of our algorithm produce an estimate $\hat{x}_i$ such that $|\hat{x}_i - x_i| \leq \epsilon \|x\|_2$, and we provide convergence guarantees when $\|G\|_2 < 1$. We prove that the synchronous local algorithm uses at most $O(\min(d \epsilon^{\ln(d)/\ln(\|G\|_2)}, dn\ln(\epsilon)/\ln(\|G\|_2)))$ multiplications. The asynchronous local algorithm adaptively samples one coordinate to update among the nonzero coordinates of the current iterate in each time step. We prove with high probability that the error contracts by a time varying factor in each step, guaranteeing that the algorithm converges to the correct solution. With probability at least $1 - \delta$, the asynchronous randomized algorithm uses at most $O(\min(d (\epsilon \sqrt{\delta/5})^{-d/(1-\|G\|_2)}, -dn \ln (\epsilon \sqrt{\delta})/(1-\|G\|_2)))$ multiplications. Thus our algorithms obtain an approximation for $x_i$ in constant time with respect to the size of the matrix when $d = O(1)$ and $1/(1-\|G\|_2) = O(1)$ as a function of $n$.

연구 동기 및 목표

• 크고 희소한 선형계수 $Ax = b$ 의 해에서 단일 성분 $x_i$ 를 전체 벡터 $x$ 를 구하지 않고 효율적으로 계산하는 문제에 대응하기 위해.
• 행렬 $A$ 의 희소성과 관련된 좌표에만 국한된 계산 자원을 활용하여 $n$ 이 매우 클 경우에도 잘 스케일링되는 알고리즘을 설계하기 위해.
• $G$ 의 스펙트럴 반경과 $\ell_2$-노름 조건을 만족할 때 동기 및 이방성 변형에 대한 수렴 보장을 제공하기 위해.
• $d = O(1)$ 이고 $1/(1 - \|G\|_2) = O(1)$ 일 경우, 각 성분에 대해 일정 시간 내에 근사를 달성하여 대규모 문제에 실용적으로 적용 가능하게 하기 위해.
• 기존 몬테카를로 및 전체 벡터 방법에 비해 증명 가능하고 오차 수축이 보장되는 국소적 좌표 갱신에 초점을 맞춘다.

제안 방법

• 해의 $i$-번째 성분을 기술하기 위해 노이만 급수 전개 $x_i = \sum_{k=0}^\infty (G^k z)_i 를 사용하여 국소적 계산이 가능하도록 한다.
• 동기 국소 알고리즘은 현재 반복값에서 비영인 원소들만을 사용하여 노이만 급수의 부분합을 반복적으로 계산하며, 희소성과 곱셈 횟수를 제한한다.
• 이방성 랜덤화 알고리즘은 현재 반복값에서 비영인 좌표를 한 번씩 적응적으로 샘플링하여 갱신하며, 시간이 지남에 따라 오차 수축을 보장한다.
• 알고리즘은 실행 중 추정치 $\hat{x}_i$ 를 유지하며, 매 갱신마다 $G$ 의 희소 구조만을 사용하고, 각 갱신은 최대 $d$ 번의 곱셈을 포함한다.
• 시간에 따라 변하는 오차 수축 인자에 기반하여 수렴을 증명하며, $\epsilon$-정확도에 도달하기 위한 단계 수에 대한 고확률 경계를 제공한다.
• $\|G\|_2 < 1$, $d$, $\epsilon$, 실패 확률 $\delta$ 를 바탕으로 곱셈 횟수에 대한 이론적 경계를 유도하였으며, 유리한 조건 하에 근사 일정 시간 복잡도를 보여준다.

실험 결과

연구 질문

• RQ1 크고 희소한 행렬 $A$ 에 대해 $n$ 과 무관한 시간 내에 $Ax = b$ 의 해에서 단일 성분 $x_i$ 를 계산할 수 있는가?
• RQ2 전체 해 벡터를 계산하지 않으면서도 수렴성과 정확성을 유지하는 국소 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 희소성과 스펙트럴 노름 제약 조건 하에서 동기 및 이방성 변형의 수렴 속도와 계산 복잡도는 어떻게 되는가?
• RQ4 $d = O(1)$ 이고 $\|G\|_2 < 1$ 일 경우, 각 성분에 대해 $O(1)$ 시간 내에 $\epsilon$-정확도를 달성할 수 있는가?
• RQ5 희소 선형계에서 이방성 좌표 샘플링은 오차 수축과 수렴 확률에 어떤 영향을 미치는가?

주요 결과

• 동기 국소 알고리즘은 $\ell_2$-노름에서 $\epsilon$-정확도를 달성하기 위해 최대 $O(\min(d \epsilon^{\ln(d)/\ln(\|G\|_2)}, dn\ln(\epsilon)/\ln(\|G\|_2)))$ 번의 곱셈을 사용한다.
• 이방성 랜덤화 알고리즘은 실패 확률 $1 - \delta$ 가 높은 확률로 $\epsilon$-정확도를 달성하며, 최대 $O(\min(d (\epsilon \sqrt{\delta/5})^{-d/(1-\|G\|_2)}, -dn \ln(\epsilon \sqrt{\delta})/(1-\|G\|_2)))$ 번의 곱셈을 사용한다.
• $d = O(1)$ 이고 $1/(1 - \|G\|_2) = O(1)$ 일 경우, 두 알고리즘이 성분당 일정 시간 내에 근사를 달성하며 $n$ 과 무관하다.
• 이방성 알고리즘은 각 단계에서 시간에 따라 변하는 인자로 오차를 수축시키며, 정확한 해로의 수렴을 보장한다.
• 이 설정에서 이방성 국소 알고리즘에 대한 수렴 보장을 제공하는 최초의 결과이며, 곱셈 횟수와 실패 확률에 대한 명시적 경계를 제공한다.
• 결과는 $\|G\|_2 < 1$ 조건 하에서 성립하며, 이 조건은 $A$ 가 대각지배적이거나 양의 정부호일 경우 만족된다.