[논문 리뷰] A Randomized Asynchronous Linear Solver with Provable Convergence Rate

Haim Avron, Alex Druinsky외 1명|arXiv (Cornell University)|2013. 04. 24.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 2

한 줄 요약

이 논문은 일반적인 대칭 양의 정부호 행렬을 위한 랜덤화된 공유 메모리 비동기 선형 해법을 제안하며, 프로세서 수가 행렬 크기 및 희소성에 비해 과도하지 않은 한 동기화 대비 수렴 속도에 가까운 선형 수렴을 달성한다. 랜덤화는 동기화 없이도 진전을 보장하여 수렴 속도에 대한 증명 가능한 경계를 보장한다.

ABSTRACT

Asynchronous methods for solving systems of linear equations have been researched since Chazan and Miranker published their pioneering paper on chaotic relaxation in 1969. The underlying idea of asynchronous methods is to avoid processor idle time by allowing the processors to continue to work and make progress even if not all progress made by other processors has been communicated to them. Historically, work on asynchronous methods for solving linear equations focused on proving convergence in the limit. How the rate of convergence compares to the rate of convergence of the synchronous counterparts, and how it scales when the number of processors increase, was seldom studied and is still not well understood. Furthermore, the applicability of these methods was limited to restricted classes of matrices (e.g., diagonally dominant matrices). We propose a shared-memory asynchronous method for general symmetric positive definite matrices. We rigorously analyze the convergence rate and prove that it is linear and close to that of our method’s synchronous counterpart as long as not too many processors are used (relative to the size and sparsity of the matrix). A key component is randomization, which allows the processors to make guaranteed progress without introducing synchronization. Our analysis shows a convergence rate that is linear in the condition number of the matrix, and depends on the number of processors and the degree to which the matrix is sparse.

연구 동기 및 목표

• 비동기 선형 해법에서 수렴 속도 분석의 부족, 특히 일반적인 대칭 양의 정부호 행렬에 대해 해결하고자 한다.
• 이전 방법이 대각 우세 행렬과 같은 특정 행렬 클래스에 국한되어 있었던 한계를 극복하고자 한다.
• 동기화가 필요 없이도 빠른 수렴을 유지하는 비동기 해법을 설계하고자 한다.
• 수렴 속도가 프로세서 수와 행렬 희소성에 따라 어떻게 변화하는지 엄밀히 분석하고자 한다.
• 합리적인 프로세서 수 범위에서 동기화 대비 수렴 속도에 가까운 이론적 기반을 확립하고자 한다.

제안 방법

• 프로세서가 다른 프로세서의 대기 없이 변수를 업데이트할 수 있도록 랜덤화를 활용함으로써 동기화를 제거하고 진전을 보장한다.
• 변수 업데이트 대상 선택을 랜덤화한 비동기 가우스-세이델 유형의 업데이트 규칙을 사용한다.
• 공유 메모리 아키텍처를 대상으로 하여 원자 연산을 통해 공유 자료 구조에 동시 접근을 가능하게 한다.
• 수렴 분석은 대칭 양의 정부호 행렬의 성질을 이용해 반복마다 오차의 기대 감소를 경계함으로써 이루어진다.
• 수렴 속도 경계에 행렬의 희소성과 조건수를 통합하여 이러한 구조적 특성에 대한 의존성을 보여준다.
• 핵심 이론적 기여는 프로세서 수가 행렬 크기 및 희소성에 비해 작을 경우 동기화 방법의 수렴 속도에 가까운 선형 수렴을 증명하는 것이다.

실험 결과

연구 질문

• RQ1 일반적인 대칭 양의 정부호 행렬에 대해 비동기 선형 해법의 수렴 속도는 동기화 대비 어떻게 비교되는가?
• RQ2 동기화 없이 비동기 해법의 수렴 속도에 프로세서 수가 미치는 영향은 무엇인가?
• RQ3 비동기 선형 해법에서 동기화 없이도 진전과 수렴을 보장하기 위해 랜덤화를 사용할 수 있는가?
• RQ4 행렬의 희소성과 조건수는 비동기 해법의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 수렴의 극한을 넘어서 비동기 방법의 수렴 속도에 대해 어떤 이론적 경계를 설정할 수 있는가?

주요 결과

• 제안된 비동기 해법은 프로세서 수가 행렬 크기 및 희소성에 비해 과도하지 않은 경우 동기화 대비 수렴 속도에 가까운 선형 수렴을 달성한다.
• 수렴 속도는 조건수에 따라 선형적으로 의존하며, 이는 해의 변화에 대한 민감도를 정량화한다.
• 수렴 속도는 프로세서 수에 영향을 받으며, 프로세서 수가 임계값을 초과하면 성능이 저하된다.
• 랜덤화는 동기화 없이도 보장된 진전을 가능하게 하여 알고리즘이 정지 시간을 피하고 효율적으로 확장됨을 보장한다.
• 이론적 분석은 수렴 속도가 행렬의 희소성에 따라 유리하게 스케일링됨을 보여주며, 희소 시스템에서 더 나은 성능을 나타낸다.
• 이 방법은 이전에 연구된 제한된 클래스를 초월하여 일반적인 대칭 양의 정부호 행렬에 적용 가능하다.