[논문 리뷰] Pseudoinverse-free randomized extended block Kaczmarz for solving least squares.

Kui Du, Wutao Si외 1명|arXiv (Cornell University)|2020. 01. 13.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 최소 ℓ₂-노름 해로의 평균 제곱 수렴을 달성하는, 허위 역행렬을 사용하지 않는 랜덤화된 확장 블록 카츠마르츠 알고리즘을 제안한다. 이 알고리즘은 행렬 역행렬을 요구하지 않으며, 시스템 행렬의 블록 행을 반복적으로 해 공간에 투영함으로써 작동하여, 일관성 여부, 과잉 결정 또는 부족 결정, 전위수 또는 질량 부족 여부에 관계없이 모든 유형의 시스템에서 효율적인 분산 계산을 가능하게 한다.

ABSTRACT

Randomized iterative algorithms have recently been proposed to solve large-scale linear systems. In this paper, we present a simple randomized extended block Kaczmarz algorithm that exponentially converges in the mean square to the unique minimum $\ell_2$-norm least squares solution of a given linear system of equations. The proposed algorithm is pseudoinverse-free and therefore different from the projection-based randomized double block Kaczmarz algorithm of Needell, Zhao, and Zouzias. We emphasize that our method works for all types of linear systems (consistent or inconsistent, overdetermined or underdetermined, full-rank or rank-deficient). Moreover, our approach can utilize efficient implementations on distributed computing units, yielding remarkable improvements in computational time. Numerical examples are given to show the efficiency of the new algorithm.

연구 동기 및 목표

• 매트릭스 허위 역행렬에 의존하지 않고 대규모 최소 제곱 문제를 해결하기 위한 랜덤화된 반복 방법을 개발하는 것.
• 모든 선형 시스템 구성에서 최소 ℓ₂-노름 해로의 평균 제곱 수렴을 보장하는 것.
• 계산 성능 향상을 위해 분산 컴퓨팅 아키텍처에서 효율적인 구현을 가능하게 하는 것.
• 일관성 있는, 일관성이 없는, 과잉 결정 또는 부족 결정, 전위수 또는 질량 부족인 모든 시스템에 적용 가능한 통합 프레임워크를 제공하는 것.

제안 방법

• 알고리즘은 시스템 행렬에서 블록 행을 랜덤 샘플링하여 해 추정치를 반복적으로 개선한다.
• 모어-펜로즈 허위 역행렬의 명시적 계산을 피하는 랜덤라이즈드 카츠마르츠 유형 업데이트를 적용한다.
• 업데이트 규칙은 선택된 블록에 의해 정의된 초평면에 투영하는 확장 카츠마르츠 프레임워크에서 유도된다.
• 선택 과정에서의 블록 구조와 랜덤라이제이션을 활용하여 수치적 안정성과 수렴성을 유지한다.
• 알고리즘은 여러 컴퓨팅 유닛으로 쉽게 병렬화되고 분산 구현이 가능하도록 설계되어 있다.
• 수렴 분석은 기대값 기반으로 수행되어 최소 ℓ₂-노름 해로의 지수적 평균 제곱 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 허위 역행렬 계산 없이도 랜덤라이즈드 블록 카츠마르츠 방법이 지수적 수렴을 달성할 수 있는가?
• RQ2 이 알고리즘이 일관성이 없거나 질량 부족인 시스템을 포함한 다양한 선형 시스템 유형에서 어떻게 작동하는가?
• RQ3 이 알고리즘은 분산 컴퓨팅 플랫폼에서 얼마나 효율적으로 스케일업될 수 있는가?
• RQ4 이 방법의 이론적 수렴 행동은 평균 제곱 오차 감소 측면에서 어떻게 되는가?
• RQ5 기존의 투영 기반 이중 블록 카츠마르츠 접근법에 비해 이 방법은 효율성과 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 알고리즘은 최소 ℓ₂-노름 최소 제곱 해로의 평균 제곱 수렴을 달성한다.
• 이 방법은 일관성 없는, 과잉 결정 또는 부족 결정, 전위수 또는 질량 부족인 모든 종류의 선형 시스템에 적용 가능하다.
• 이 방법은 허위 역행렬이 없어 고비용이고 수치적으로 불안정한 행렬 역행렬 연산을 피한다.
• 효율적인 분산 컴퓨팅 구현을 통해 빠른 성능 향상을 달성할 수 있다.
• 수치 실험을 통해 다양한 시험 케이스에서 알고리즘의 효율성과 강건성이 확인된다.