[논문 리뷰] Randomized extended block Kaczmarz for solving least squares

Kui Du, Wutao Si외 1명|arXiv (Cornell University)|2020. 01. 13.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 일반 선형 시스템(일관성/비일관성, 과잉정의/부족정의, 전위수/질의수 없는 경우 포함)을 해결하기 위한 무작위화 확장 블록 카츠마르츠(REBK) 알고리즘을 제안한다. 이 알고리즘은 의사역행렬 계산을 요구하지 않으며, 최소 ℓ₂-노름 최소 제곱 해로의 평균 제곱 수렴을 실현하며, 반복마다 두 번의 무작위화 블록 카츠마르츠 업데이트를 활용하여 효율적인 분산 구현이 가능하고, 높은 계산 속도 향상을 이룬다.

ABSTRACT

Randomized iterative algorithms have recently been proposed to solve large-scale linear systems. In this paper, we present a simple randomized extended block Kaczmarz algorithm that exponentially converges in the mean square to the unique minimum $\ell_2$-norm least squares solution of a given linear system of equations. The proposed algorithm is pseudoinverse-free and therefore different from the projection-based randomized double block Kaczmarz algorithm of Needell, Zhao, and Zouzias. We emphasize that our method works for all types of linear systems (consistent or inconsistent, overdetermined or underdetermined, full-rank or rank-deficient). Moreover, our approach can utilize efficient implementations on distributed computing units, yielding remarkable improvements in computational time. Numerical examples are given to show the efficiency of the new algorithm.

연구 동기 및 목표

• 일관성 없는 경우와 질의수 없는 경우를 포함한 일반 선형 시스템을 신속하고 확장 가능한 반복 방법으로 해결하기 위한 방법 개발.
• 무어-펜로즈 의사역행렬을 계산하지 않고도 최소 ℓ₂-노름 최소 제곱 해로의 평균 제곱 수렴을 달성하기 위한 목표.
• 블록 구조와 무작위로 선택된 행/열 샘플링을 활용하여 병렬 및 분산 계산을 효율적으로 구현하기 위한 목표.
• 일관성/비일관성, 전위수/질의수 없는 경우, 과잉정의/부족정의의 모든 유형의 선형 시스템에 적용 가능한 통합 프레임워크 제공.
• 합성 및 실제 희소 행렬에 대한 수치 실험을 통해 높은 계산 속도 향상을 입증하기 위한 목표.

제안 방법

• 알고리즘은 반복마다 두 번의 무작위화 블록 카츠마르츠(RABK) 업데이트를 수행한다: 하나는 전치 시스템에 대해, 다른 하나는 원래 시스템에 대해.
• 특정 스텝사이즈 규칙을 사용한 가중치 RABK 업데이트를 통해 최소 ℓ₂-노름 최소 제곱 해로의 수렴을 보장한다.
• 의사역행렬 계산을 피하기 위해 두 단계 업데이트를 사용한다: 먼저 잔차 벡터를 업데이트하고, 그 다음 해 근사치를 업데이트한다.
• 반복마다 무작위로 블록 행과 열을 선택하여, 전체 분할이 필요 없이도 유연한 샘플링을 가능하게 한다.
• 블록 크기와 스텝사이즈를 주요 조정 파rameter로 삼아, 분산 컴퓨팅 단위 간에 효율적으로 병렬화될 수 있도록 설계되었다.
• 수렴 분석을 통해 모든 일반 선형 시스템에 대해 A†b로의 지수적 평균 제곱 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 의사역행렬 계산 없이도 최소 ℓ₂-노름 최소 제곱 해로의 지수적 수렴을 달성할 수 있는 무작위화 블록 카츠마르츠 방법을 설계할 수 있는가?
• RQ2 확장된 카츠마르츠 프레임워크를 어떻게 일반화하여 일관성 없는 경우와 질의수 없는 경우를 포함한 모든 종류의 선형 시스템을 다룰 수 있는가?
• RQ3 블록 크기와 스텝사이즈가 분산 및 대규모 환경에서 수렴 속도에 미치는 영향은 어떠한가?
• RQ4 지수적 수렴을 유지하면서도 분산 컴퓨팅 단위 간에 효율적으로 병렬화할 수 있는가?
• RQ5 실제 희소 행렬에서 제안된 REBK 알고리즘이 REK 및 RDBK와 비교해 성능가능성이 어떠한가?

주요 결과

• REBK 알고리즘은 일관성 없는 경우와 질의수 없는 경우를 포함한 모든 일반 선형 시스템에 대해 최소 ℓ₂-노름 최소 제곱 해 A†b로의 평균 제곱 수렴을 지수적으로 달성한다.
• Type I 및 Type II 합성 행렬에서, 블록 크기 τ=10 및 α=1.75/β_max 조건 하에서 REBK는 REK 및 RDBK를 모두 능가하며, abtaha1에서 최대 3.53배, WorldCities에서 최대 2.14배의 CPU 시간 절감을 기록한다.
• 유니버시티 오브 플로리다 희소 행렬 컬렉션에서의 실제 행렬에 대해, 최적의 블록 크기와 경험적 스텝사이즈를 사용한 REBK는 반복 횟수를 최대 69% 감소시키고, REK 대비 CPU 시간을 최대 3.53배 절감한다.
• 속도 향상은 문제에 따라 블록 크기와 스텝사이즈의 선택에 매우 의존적이며, 최적의 파rameter는 행렬에 따라 다를 수 있다.
• 대규모 시스템(최대 20,000행, 5,000열)에서 알고리즘이 높은 계산 이점을 보이며, 분산 환경에서 강력한 확장성을 입증한다.
• 수치 결과는 모든 테스트 케이스에서 REK, RDBK 및 REBK 중에서 REBK가 가장 빠른 성능을 보이며, 특히 대규모 및 희소 시스템에서 두드러진 성능 향상을 보여준다.