[논문 리뷰] Solving for a Single Component of the Solution to a Linear System, Asynchronously

Christina Lee, Asuman Ozdaglar외 1명|arXiv (Cornell University)|2014. 11. 10.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 2

한 줄 요약

논문은 희소 대규모 선형계수 $Ax = b$의 해의 단일 성분을 근사하기 위해 노이만 급수와 잔차 업데이트를 활용하는 이종적이고 분산된 알고리즘을 제시한다. 매트릭스의 행 희소성과 스펙트럼 노름이 유계일 경우, 전체 해를 구하는 방법보다 뛰어나게 상수 시간 내에 $\epsilon\|x\|_2$-정확도로 $x_i$를 근사한다.

ABSTRACT

We present a distributed asynchronous algorithm for approximating a single component of the solution to a system of linear equations $Ax = b$, where $A$ is a positive definite real matrix, and $b \in \mathbb{R}^n$. This is equivalent to solving for $x_i$ in $x = Gx + z$ for some $G$ and $z$ such that the spectral radius of $G$ is less than 1. Our algorithm relies on the Neumann series characterization of the component $x_i$, and is based on residual updates. We analyze our algorithm within the context of a cloud computation model, in which the computation is split into small update tasks performed by small processors with shared access to a distributed file system. We prove a robust asymptotic convergence result when the spectral radius $ ho(|G|) < 1$, regardless of the precise order and frequency in which the update tasks are performed. We provide convergence rate bounds which depend on the order of update tasks performed, analyzing both deterministic update rules via counting weighted random walks, as well as probabilistic update rules via concentration bounds. The probabilistic analysis requires analyzing the product of random matrices which are drawn from distributions that are time and path dependent. We specifically consider the setting where $n$ is large, yet $G$ is sparse, e.g., each row has at most $d$ nonzero entries. This is motivated by applications in which $G$ is derived from the edge structure of an underlying graph. Our results prove that if the local neighborhood of the graph does not grow too quickly as a function of $n$, our algorithm can provide significant reduction in computation cost as opposed to any algorithm which computes the global solution vector $x$. Our algorithm obtains an $\epsilon \|x\|_2$ additive approximation for $x_i$ in constant time with respect to the size of the matrix when the maximum row sparsity $d = O(1)$ and $1/(1-\|G\|_2) = O(1)$.

연구 동기 및 목표

• 전체 벡터를 구하지 않고도 대규모 희소 선형계의 해에서 단일 성분을 계산하는 확장 가능하고 분산된 방법을 개발하기 위해.
• 전체 해 벡터 $x$를 계산하는 데에 비효율적인 기존 방법이 오직 $x_i$만 필요할 경우에도 여전히 전체를 계산하는 문제를 해결하기 위해.
• 클라우드 환경에서 임의의 업데이트 순서와 작업 스케줄링에 대해 저항력 있는 알고리즘 설계를 위해.
• 매트릭스의 행 희소성이 유계이고 스펙트럼 반경이 1보다 작을 경우, 대규모 시스템에서 단일 성분 근사에 대해 상수 시간 수렴을 달성하기 위해.

제안 방법

• 알고리즘은 원하는 성분 $x_i$를 매트릭스 $G$의 거듭제곱을 포함하는 무한합으로 표현하기 위해 노이만 급수 전개를 사용한다. 여기서 $x = Gx + z$이다.
• 작은 분산 작업들에서 비동기 잔차 업데이트를 수행하며, 각 작업은 해 추정치의 국소 부분을 담당하여 업데이트한다.
• 공유 스토리지가 있는 클라우드 컴퓨팅 모델을 기반으로 하며, 독립된 프로세서들이 공유 데이터에 비동기적으로 액세스하고 업데이트할 수 있도록 한다.
• 수렴 분석은 결정적 업데이트 규칙에 대해 가중 무작위 보행을, 확률적 업데이트 규칙에 대해 시간 및 경로에 의존하는 랜덤 매트릭스 곱의 농도 경계를 사용한다.
• 매트릭스의 비제로 요소만 업데이트함으로써 희소성을 활용하여, $d = O(1)$일 경우 업데이트 비용을 감소시킨다.
• 이론적 분석은 확률적 업데이트 설정에서 시간 및 경로에 따라 달라지는 랜덤 매트릭스 곱을 고려한다.

실험 결과

연구 질문

• RQ1 분산적 비동기 알고리즘이 전체 해 벡터를 계산하는 것보다 선형계 해의 단일 성분을 더 빠르게 근사할 수 있는가?
• RQ2 비동기 공유 메모리 클라우드 환경에서 업데이트 순서와 빈도는 수렴 행동에 어떻게 영향을 미치는가?
• RQ3 매트릭스 $G$에 어떤 조건이 성립하면 단일 성분 근사에 대해 상수 시간 수렴이 보장되는가?
• RQ4 매트릭스 $G$의 희소성이 알고리즘의 계산 비용과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 경로에 따라 달라지는 분포를 가진 확률적 업데이트 규칙이 여전히 수렴을 보장하고 정량화 가능한 경계를 제공할 수 있는가?

주요 결과

• 최대 행 희소성 $d = O(1)$ 이며 $1/(1 - \|G\|_2) = O(1)$일 경우, 알고리즘은 $n$에 대해 상수 시간 내에 $\epsilon\|x\|_2$-정확도로 $x_i$를 근사한다.
• 모든 업데이트 순서에 대해 $\rho(|G|) < 1$이면 수렴이 점차적으로 보장되며, 이는 비동기 환경에서의 강건성을 보장한다.
• 수렴 속도는 업데이트 규칙에 따라 달라진다: 결정적 규칙은 가중 무작위 보행을 통해 분석되고, 확률적 규칙은 시간 및 경로에 의존하는 랜덤 매트릭스 곱의 농도 경계를 사용한다.
• 희소 $G$에서 $d = O(1)$일 경우, 전체 해 계산에 비해 알고리즘이 상당한 계산 절감을 제공한다.
• 임의의 비동기 작업 스케줄링 조건 하에서도 알고리즘은 증명 가능하게 수렴하므로 대규모 클라우드 배포에 적합하다.
• 이론적 프레임워크는 미약한 스펙트럼 조건 하에서 결정적 및 확률적 업데이트 전략을 모두 지원하며, 공식적인 수렴 보장을 제공한다.