[논문 리뷰] Convergence properties of the randomized extended Gauss-Seidel and Kaczmarz methods

Anna Ma, Deanna Needell외 1명|arXiv (Cornell University)|2015. 03. 27.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 9

한 줄 요약

이 논문은 과다결정/비일관, 과다결정/일관, 부족결정 시스템 전반에 걸쳐 랜덤화 카츠마르츠(RK) 및 가우스-자이델(RGS) 방법에 대한 통합 이론적 프레임워크를 제시한다. 표준 RGS가 부족결정 시스템에서 최소 노름 해로 수렴하지 못함에 따라, 최소 노름 해로 선형 수렴을 보장하는 랜덤화 확장 가우스-자이델(REGS) 알고리즘을 도입한다. 이 논문은 REGS가 기댓값 기준으로 최소 유클리드 노름 해로 선형 수렴함을 증명하며, 모든 시스템 설정에서 두 방법에 대한 이론적 그림을 완성한다.

ABSTRACT

The Kaczmarz and Gauss-Seidel methods both solve a linear system $\bf{X}\bfβ = \bf{y}$ by iteratively refining the solution estimate. Recent interest in these methods has been sparked by a proof of Strohmer and Vershynin which shows the randomized Kaczmarz method converges linearly in expectation to the solution. Lewis and Leventhal then proved a similar result for the randomized Gauss-Seidel algorithm. However, the behavior of both methods depends heavily on whether the system is under or overdetermined, and whether it is consistent or not. Here we provide a unified theory of both methods, their variants for these different settings, and draw connections between both approaches. In doing so, we also provide a proof that an extended version of randomized Gauss-Seidel converges linearly to the least norm solution in the underdetermined case (where the usual randomized Gauss Seidel fails to converge). We detail analytically and empirically the convergence properties of both methods and their extended variants in all possible system settings. With this result, a complete and rigorous theory of both methods is furnished.

연구 동기 및 목표

• 모든 시스템 유형(과다결정/비일관, 과다결정/일관, 부족결정)에 걸쳐 랜덤화 카츠마르츠 및 가우스-자이델 방법에 대한 완전한 이론적 프레임워크가 부족한 문제를 해결하기 위해.
• 표준 RGS가 부족결정 시스템에서 최소 노름 해로 수렴하지 못하고, 원하는 해에서 발산하는 문제를 해결하기 위해.
• 부족결정 설정에서 최소 노름 해로 선형 수렴하는 확장된 RGS의 변종인 랜덤화 확장 가우스-자이델(REGS) 알고리즘을 개발하고 분석하기 위해.
• 과다결정 일관, 과다결정 비일관, 부족결정 시스템 전반에 걸쳐 RK, RGS, REK, REGS 간의 유사성을 분석함으로써 통합 수렴 이론을 구축하기 위해.
• 이론적 수렴 한계의 날카러움을 실증적으로 검증하고, 기존 방법들과의 비교에서 REGS의 실용적 효능을 입증하기 위해.

제안 방법

• 부족결정 시스템에서 최소 노름 해로 수렴하도록 설계된 표준 RGS 방법의 확장으로서, 랜덤화 확장 가우스-자이델(REGS) 알고리즘을 제안한다.
• RGS의 랜덤화 좌표 강하 프레임워크를 확장하여, 각 반복에서 잔차 정보를 추적하는 이중 업데이트 메커니즘을 통합한다. 이는 REK가 RK를 어떻게 확장하는지와 유사하다.
• 랜덤으로 행 또는 열을 선택하는 전략을 사용하며, 각 반복에서 행렬 $\mathbf{X}$의 랜덤한 열을 선택하여 해 추정치 $\boldsymbol{\beta}$를 업데이트한다. 이는 해당 좌표 방향에서 잔차를 최소화하도록 한다.
• 제약 조건을 유지하면서도 부족결정 케이스에서 $\|\boldsymbol{\beta}\|_2^2$ 를 최소화하도록 하는 투영 기반 업데이트 규칙을 적용한다.
• 기댓값 기준으로 $\ell_2$-오차 $\|\boldsymbol{\beta}_t^{LN} - \boldsymbol{\beta}_{LN}\|_2^2$ 의 이론적 상한을 유도하며, 이는 기댓값 기준 선형 수렴을 증명한다.
• 과다결정 일관, 과다결정 비일관, 부족결정 시스템이라는 세 가지 표준 설정에서 RK, RGS, REK, REGS의 성능을 분석함으로써 이들의 수렴 행동 간 유사성을 규명한다.

실험 결과

연구 질문

• RQ1 왜 표준 랜덤화 가우스-자이델(RGS) 방법은 과다결정 시스템에서는 최소 제곱 해로 수렴하지만, 부족결정 시스템에서는 최소 노름 해로 수렴하지 못하는가?
• RQ2 과다결정 비일관 케이스에서 성공을 거둔 확장 카츠마르츠(REK)와 유사하게, 부족결정 시스템에서 최소 노름 해로 선형 수렴을 보장하는 RGS의 확장된 버전을 구성할 수 있는가?
• RQ3 제안된 REGS 알고리즘의 이론적 수렴 속도는 무엇이며, 다양한 시스템 설정에서 기존 방법들과의 비교는 어떠한가?
• RQ4 REGS의 이론적 수렴 한계는 시뮬레이션에서의 실증 성능과 비교해 볼 때 얼마나 날카로운가, 특히 날카러움과 실용적 속도 측면에서 어떻게 평가되는가?
• RQ5 카츠마르츠와 가우스-자이델 방법 간의 구조적 및 알고리즘적 유사성은 무엇이며, 이를 하나의 이론적 프레임워크로 통합할 수 있는가?

주요 결과

• 표준 랜덤화 가우스-자이델(RGS) 방법은 과다결정 일관 및 비일관 시스템에서 기댓값 기준으로 최소 제곱 해로 선형 수렴하지만, 부족결정 시스템에서는 최소 노름 해로 수렴하지 못한다.
• 제안된 랜덤화 확장 가우스-자이델(REGS) 알고리즘은 부족결정 시스템에서 최소 노름 해 $\boldsymbol{\beta}_{LN}$ 으로 기댓값 기준 선형 수렴하며, 이는 정리 1에서 엄밀히 증명되었다.
• REGS는 이론적 상한이 시뮬레이션에서 관측된 실증 수렴 속도와 일치하는, 날카로운 이론적 수렴 한계를 확보한다.
• 시뮬레이션 결과, REGS는 확장 카츠마르츠(REK) 방법과 유사한 수렴 속도를 보였으며, RK와 RGS는 모두 동일한 오차 기준에 도달하기까지 반복 수에서 확장된 대안들보다 더 빠르게 수렴했다.
• 부족결정 케이스에서 RK는 최소 노름 해로 수렴하지만, RGS는 그렇지 않다. 이는 두 방법이 상호 보완적이며, 일관된 최소 노름 복원을 위해 REGS가 필수적임을 시사한다.
• 합성 문제 및 톰그래피 문제(예: $700 \times 1000$ 행렬)에 대한 실증 결과는 REGS가 빠른 수렴을 보이며, 종종 이론적 최악의 경우 한계를 뛰어넘는 것으로 확인되었다.