[논문 리뷰] A Kaczmarz Method with Simple Random Sampling for Solving Large Linear Systems

Yutong Jiang, Gang Wu외 1명|arXiv (Cornell University)|2020. 11. 30.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 대규모 선형 시스템을 해결하기 위해 단순 무작위 표본 추출을 사용하는 랜덤화 Kaczmarz 방법을 제안한다. Chebyshev의 대수법칙과 Z-검정을 기반으로 한 확률 기반 표본 추출 전략을 도입하여 기존의 전통적 및 이른바 탐욕형 랜덤화 Kaczmarz 방법보다 수렴 속도를 향상시킨다. 이 방법은 계산 비용을 줄이면서도 특히 대규모 문제 및 릿지 회귀 문제에서 빠른 수렴을 유지한다.

ABSTRACT

The Kaczmarz method is a popular iterative scheme for solving large-scale linear systems. The randomized Kaczmarz method (RK) greatly improves the convergence rate of the Kaczmarz method, by using the rows of the coefficient matrix in random order rather than in their given order. An obvious disadvantage of the randomized Kaczmarz method is its probability criterion for selecting the active or working rows in the coefficient matrix. In [{\sc Z.Z. Bai, W. Wu}, {\em On greedy randomized Kaczmarz method for solving large sparse linear systems}, SIAM Journal on Scientific Computing, 2018, 40: A592--A606], the authors proposed a greedy randomized Kaczmarz method (GRK). However, this method may suffer from heavily computational cost when the size of the matrix is large, and the overhead will be prohibitively large for big data problems. The contribution of this work is as follows. First, from the probability significance point of view, we present a partially randomized Kaczmarz method, which can reduce the computational overhead needed in greedy randomized Kaczmarz method. Second, based on Chebyshev's law of large numbers and Z-test, we apply a simple sampling approach to the partially randomized Kaczmarz method. The convergence of the proposed method is established. Third, we apply the new strategy to the ridge regression problem, and propose a partially randomized Kaczmarz method with simple random sampling for ridge regression. Numerical experiments demonstrate the superiority of the new algorithms over many state-of-the-art randomized Kaczmarz methods for large linear systems problems and ridge regression problems.

연구 동기 및 목표

• 대규모 문제에서 탐욕형 랜덤화 Kaczmarz(GRK) 방법의 높은 계산 비용을 해결한다.
• 각 반복에서 전체 잔차를 계산하는 데 의존도를 줄이기 위해 표본 기반 선택 전략을 도입한다.
• 수렴 속도와 계산 효율성의 균형을 맞춘 부분적으로 랜덤화된 Kaczmarz 방법을 개발한다.
• 확률적 표본 추출 원리를 사용하여 제안된 방법의 이론적 수렴성을 확립한다.
• 개선된 성능과 낮은 매개변수 민감도를 갖도록 방법을 릿지 회귀 문제로 확장한다.

제안 방법

• 큰 잔차 항목을 선호하는 확률 기준에 따라 행을 선택하는 부분적으로 랜덤화된 Kaczmarz 방법을 제안하여 전체 잔차 계산을 줄인다.
• Chebyshev의 대수법칙과 Z-검정을 활용해 단순 무작위 표본 추출을 부분적으로 랜덤화된 방법에 적용하여 중요한 잔차 성분을 추정한다.
• 표본 비율 η를 사용해 각 반복에서 선택하는 행의 수를 조절하여 정확도와 계산 비용의 균형을 이룬다.
• 모든 잔차를 계산하지 않고도 표본 기반의 확률 선택 메커니즘을 도입하여 반복당 오버헤드를 크게 감소시킨다.
• 선택된 행에 의해 정의되는 초평면에 대한 투영으로 업데이트 규칙을 설정하여 Kaczmarz 프레임워크를 유지한다.
• 정규화 항 τ를 통합하여 방법을 릿지 회귀 문제에 적응시키며, 명시적인 행렬 형성 또는 이완 매개변수를 피한다.

실험 결과

연구 질문

• RQ1 표본 기반의 확률 기준이 탐욕형 방법과 비교해 수렴 속도를 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ2 통계 법칙에 기반한 단순 무작위 표본 추출이 대규모 선형 시스템에서 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 표준 및 릿지 회귀 문제에서 최신 기술 대비 뛰어난 성능을 보일 수 있는가?
• RQ4 표본 비율과 정규화 매개변수의 선택에 따라 제안된 방법의 성능가 민감한가?
• RQ5 전체 행렬 K를 명시적으로 형성하거나 저장하지 않더라도 방법이 빠른 수렴을 유지하는가?

주요 결과

• 단순 무작위 표본 추출을 적용한 제안된 방법(알고리즘 6 및 7)은 모든 테스트 행렬에서 표준 랜덤화 Kaczmarz(RK) 및 VGRK, VRGS와 같은 변종보다 더 빠른 수렴을 달성한다.
• τ=0.001인 bcsstm09 행렬의 경우, 알고리즘 7는 단 1308회의 반복과 2.21초가 소요되었고, 반면 AVGRK(ω)는 9회의 반복이지만 7794.59초가 소요되어 높은 반복당 비용을 기록했다.
• 알고리즘 6 및 7는 AVGRK(ω)와 달리 정규화 매개변수 τ에 민감하지 않으며, AVGRK(ω)는 강한 의존성과 높은 계산 오버헤드를 보인다.
• 릿지 회귀 테스트에서 알고리즘 6 및 7는 모든 행렬에서 2000회 이내의 반복 안에 수렴했지만, 일부 경우 AVGRK(ω)는 100,000회 이상의 반복이 필요했다.
• 알고리즘 6 및 7의 CPU 시간은 대부분의 행렬에서 4초 이내로 일관되게 낮게 유지되었고, 반면 큰 문제에서는 AVGRK(ω)가 1000초를 초과했다.
• 이 방법은 명시적인 행렬 형성과 이완 매개변수를 피하여 대규모 및 빅데이터 문제에 대해 효율적이고 확장 가능한 성능을 발휘한다.