[논문 리뷰] An Asynchronous Parallel Randomized Kaczmarz Algorithm

Ji Liu, Stephen J. Wright외 1명|arXiv (Cornell University)|2014. 01. 20.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 44

한 줄 요약

이 논문은 큰 희소 선형계수 $Ax = b$를 해결하기 위한 이방형 병렬 랜덤라이즈드 카츠마르츠 알고리즘인 AsyRK을 제안한다. 여러 프로세서가 동기화 없이 동시에 해 벡터를 업데이트할 수 있도록 허용함으로써, $A^TA$의 체계 크기와 스펙트럼 성질에 비례하는 함수로 제한된 수의 프로세서를 사용할 경우 선형 수렴를 달성하고 거의 선형적 성능 향상을 보이며, 수렴 속도에서 이방형 확률적 경사하강법을 능가한다.

ABSTRACT

We describe an asynchronous parallel variant of the randomized Kaczmarz (RK) algorithm for solving the linear system $Ax=b$. The analysis shows linear convergence and indicates that nearly linear speedup can be expected if the number of processors is bounded by a multiple of the number of rows in $A$.

연구 동기 및 목표

• 최소한의 동기화 오버헤드를 갖는 대규모 희소 선형계수 $Ax = b$를 해결하기 위한 확장 가능한 병렬 알고리즘을 개발하기 위해.
• 실제 병렬 실행 모델을 반영한 이방형 랜덤라이즈드 카츠마르츠 방법의 수렴 행동을 분석하기 위해.
• 약간의 선형 성능 향상을 보장하는 최대 프로세서 수에 대한 이론적 경계를 설정하기 위해.
• 이방형 접근 방식이 선형 수렴을 달성하며, 이는 Hogwild! 스타일 방법의 하위선형 $1/t$ 수렴 속도를 능가한다는 것을 입증하기 위해.

제안 방법

• 다수의 프로세서가 서로 협력 없이 공유 메모리에서 해 벡터 $x$를 동시에 업데이트할 수 있는 이방형, 락 프리 업데이트 방식을 사용한다.
• 각 프로세서는 $\|a_i\|^2 / \|A\|_F^2$ 비례 확률로 행렬 $A$의 행 $i$를 샘플링하고, 표준 카츠마르츠 업데이트인 $x_{j+1} = x_j - \frac{a_i^T x_j - b_i}{\|a_i\|^2} a_i$를 적용한다.
• 업데이트 지연을 고려하기 위해 유한한 나이 $\tau$를 사용하여 실제 공유 메모리 병렬 시스템에서의 이방성 특성을 모델링한다.
• 핵심 기술적 구성 요소로는 지연 제약 조건 하에서도 수렴을 보장하기 위해 $\gamma = 1/\psi$인 스텝사이즈를 사용하는 것으로, $\psi = \mu + \frac{2\lambda_{\max}\tau\rho^\tau}{m}$이다.
• 수렴 증명은 $A^T A$의 스펙트럼 노름과 고유값 경계를 사용하여 해 집합까지의 거리 감소 기대값을 근사함으로써 이루어진다.
• 이론적 분석 결과, 선형 수렴 속도 $\mathbb{E}[\|x_j - x_j^*\|^2] \leq (1 - \frac{\lambda_{\min}\gamma}{m}(2 - \psi\gamma)) \mathbb{E}[\|x_{j-1} - x_{j-1}^*\|^2]$를 도출하였으며, $\gamma = 1/\psi$이다.

실험 결과

연구 질문

• RQ1 랜덤라이즈드 카츠마르츠 방법은 동기화 없이 공유 메모리 환경에서 효과적으로 병렬화될 수 있는가, 수렴 성질을 유지할 수 있는가?
• RQ2 이방형 카츠마르츠 알고리즘에서 거의 선형 성능 향상을 유지할 수 있는 최대 프로세서 수는 얼마인가?
• RQ3 이방형 변형은 선형 수렴을 달성하는가, 그리고 Hogwild! 스타일 방법의 하위선형 $1/t$ 수렴 속도와 비교해 볼 때 어떤가?
• RQ4 업데이트 지연과 오래된 기울기 값은 이방형 카츠마르츠 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 이방성과 $A^T A$의 스펙트럼 제약 조건 하에서 수렴을 보장하는 스텝사이즈 규칙을 유도할 수 있는가?

주요 결과

• AsyRK 알고리즘은 유한한 이방성 하에서도 선형 수렴를 달성하며, 기대 오차가 각 단계에서 기하급수적으로 감소한다.
• 수렴 속도는 $\mathbb{E}[\|x_j - x_j^*\|^2] \leq \left(1 - \frac{\lambda_{\min}}{m(\mu+1)}\right)^j \|x_0 - x_0^*\|^2$로 표현되며, 이는 선형 수렴임을 나타낸다.
• 프로세서 수가 $O(m / \lambda_{\max})$ 이하일 경우 거의 선형 성능 향상이 기대된다. 여기서 $m$은 행의 수이고, $\lambda_{\max}$는 $A^T A$의 최대 고유값이다.
• 알고리즘은 Hogwild!보다 수렴 속도에서 뛰어나며, 후자의 하위선형 $1/t$ 수렴 속도를 능가하는 선형 수렴을 달성한다.
• 지연 영향을 정밀하게 분석한 결과, $\gamma = 1/\psi$이고 $\psi = \mu + \frac{2\lambda_{\max}\tau\rho^\tau}{m}$인 스텝사이즈는 수렴을 보장하며, 이는 이론적 분석에 기반한다.
• 이론적 분석은 기대 오차가 지연되고 이방적인 업데이트 조건 하에서도 단조롭게 감소하고 기하급수적으로 빠르게 감소함을 확인한다.