[논문 리뷰] A doubly stochastic block Gauss-Seidel algorithm for solving linear equations

Kui Du, Xiaohui Sun|arXiv (Cornell University)|2019. 12. 31.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 계수 행렬 A의 하위행렬을 확률적으로 선택하여 해를 반복적으로 갱신함으로써 선형 시스템을 해결하기 위한 이重확률 블록 가우스-세이델(이중스토케스틱 블록 가우스-세이델, DSBGS) 알고리즘을 제안한다. 이 방법은 일관성 있는 시스템과 일관성이 없는 시스템 모두에서 예상 반복값과 오차/잔차 노름의 지수적 수렴을 달성하며, 랜덤화된 카츠마르츠, 랜덤화된 가우스-세이델, 이중스토케스틱 가우스-세이델 알고리즘을 특수한 경우로 일반화한다.

ABSTRACT

We propose a simple doubly stochastic block Gauss--Seidel algorithm for solving linear systems of equations. By varying the row partition parameter and the column partition parameter of the coefficient matrix, we recover the Landweber algorithm, the randomized Kaczmarz algorithm, the randomized Gauss--Seidel algorithm, and the doubly stochastic Gauss--Seidel algorithm. For general (consistent or inconsistent) linear systems, we show the exponential convergence of the {\it norms of the expected iterates} via exact formulas. For consistent linear systems, we prove the exponential convergence of the {\it expected norms of the error and the residual}. Numerical experiments are given to illustrate the efficiency of the proposed algorithm.

연구 동기 및 목표

• 기존의 랜덤화된 방법들을 일반화하는 통합적이고 효율적인 반복 알고리즘을 개발하기.
• 투영 또는 의사역행렬이 필요로 하는 블록 방법의 한계를 보완하기 위해, 이러한 연산 없이 하위행렬 샘플링을 사용하기.
• 일관성 있는 및 일관성이 없는 선형 시스템에 대해 이론적 수렴 보장을 수립하기.
• 합성 데이터 및 실세계 데이터를 활용한 수치 실험을 통해 알고리즘의 효율성을 입증하기.

제안 방법

• 계수 행렬 A에서 하위행렬 A_{I,J}를 Frobenius 노름에 기반한 이중스토케스틱 샘플링 전략을 사용해 무작위로 선택한다.
• 각 반복 단계에서, 투영 또는 의사역행렬 없이 선택된 하위행렬을 사용해 가우스-세이델 유형 갱신을 수행한다.
• 갱신 규칙은 목적 함수 f(x) = (1/(2||A||_F^2))||b - Ax||_2^2 에 대한 확률적 경사하강법에서 유도된다.
• 각 하위행렬 (I,J) 의 샘플링 확률은 ||A_{I,J}||_F^2 / ||A||_F^2 비례하게 설정되어 균형 잡힌 탐색을 보장한다.
• 이 방법은 랜드베르, 랜덤화된 카츠마르츠, 랜덤화된 가우스-세이델, 이중스토케스틱 가우스-세이델 알고리즘을 적절한 행 및 열 분할 파라미터 선택에 의해 특수한 경우로 포함한다.
• 이론적 분석은 예상 반복값에 대한 정확한 공식을 사용하여 기대값에서의 지수적 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 랜덤화된 카츠마르츠, 랜덤화된 가우스-세이델, 이중스토케스틱 가우스-세이델 알고리즘을 일반화할 수 있는 통합 알고리즘을 설계할 수 있는가?
• RQ2 하위행렬 샘플링을 사용하는 블록 기반의 확률적 가우스-세이델 방법이 일반 선형 시스템에서 지수적 수렴을 달성하는가?
• RQ3 제안된 DSBGS 알고리즘의 성능은 기존의 랜덤화된 방법들에 비해 반복 횟수와 CPU 시간 측면에서 어떻게 비교되는가?
• RQ4 스텝 사이즈와 블록 크기가 수렴 속도에 미치는 영향은 무엇이며, 이를 최적화하여 선택할 수 있는가?

주요 결과

• 정확한 공식을 통해 증명된 lin, DSBGS 알고리즘은 일관성 있는 시스템과 일관성이 없는 시스템 모두에서 예상 반복값의 노름에 대해 지수적 수렴을 달성한다.
• 일관성 있는 시스템의 경우, 오차 및 잔차의 예상 노름은 지수적으로 수렴하며, 이 수렴 속도는 A의 스펙트럼 성질에 따라 달라진다.
• 수치 실험 결과, DSBGS는 랜덤화된 카츠마르츠(RK) 알고리즘보다 뛰어난 성능을 보이며, 합성 데이터에서는 최대 14.57배, 실세계 희박 행렬에서는 최대 21.52배의 속도 향상을 보였다.
• abtaha1 행렬의 경우, 반복 횟수는 183,000에서 39,100으로 감소했고, CPU 시간은 42.25초에서 2.90초로 감소하여 뚜렷한 효율성 향상을 입증했다.
• 알고리즘의 성능은 스텝 사이즈와 블록 크기에 매우 민감하며, 최적의 선택은 실험 결과에 따르면 문제에 따라 달라진다.
• 이 방법은 기존 알고리즘을 일반화한다: RK, RGS, DSGS는 모두 적절한 행 및 열 분할 파라미터 선택에 의해 DSBGS의 특수한 경우로 포함된다.