[논문 리뷰] Kaczmarz-type inner-iteration preconditioned flexible GMRES methods for consistent linear systems

Yishu Du, Ken Hayami외 3명|arXiv (Cornell University)|2020. 06. 18.

Matrix Theory and Algorithms참고 문헌 38인용 수 4

한 줄 요약

이 논문은 일관된 선형 시스템, 특히 과잉 결정 및 부족 결정 최소제곱 문제를 해결하기 위해 탐욕형 및 랜덤화 Kaczmarz 내부 반복을 전처리로 사용하는 유연한 GMRES 방법을 제안한다. 이 방법은 내부 반복 횟수와 이완 파라미터를 동적으로 조정함으로써 NE-SOR 전처리 GMRES에 비해 더 빠른 수렴 속도와 감소된 CPU 시간을 달성한다.

ABSTRACT

We propose using greedy and randomized Kaczmarz inner-iterations as preconditioners for the right-preconditioned flexible GMRES method to solve consistent linear systems, with a parameter tuning strategy for adjusting the number of inner iterations and the relaxation parameter. We also present theoretical justifications of the right-preconditioned flexible GMRES for solving consistent linear systems. Numerical experiments on overdetermined and underdetermined linear systems show that the proposed method is superior to the GMRES method preconditioned by NE-SOR inner iterations in terms of total CPU time.

연구 동기 및 목표

• 일관된 선형 시스템, 특히 악조건이거나 질량이 빠진 경우에 대해 기존의 NE-SOR 내부 반복을 탐욕형 및 랜덤화 Kaczmarz 방법으로 대체함으로써 반복적 해법을 가속화한다.
• 기저 추적과 같은 행 연산이 비용이 많이 드는 문제에서 총 행 연산 수를 최소화함으로써 계산 비용을 절감하기 위해 적응형 내부 반복을 사용한다.
• 랜덤화 또는 탐욕형 Kaczmarz 내부 반복으로 유도되는 변동형 전처리를 수용할 수 있는 유연한 GMRES 프레임워크를 개발한다.
• 일관된 선형 시스템의 맥락에서 오른쪽 전처리를 적용한 유연한 GMRES의 수렴에 대한 이론적 근거를 제공한다.

제안 방법

• 일관된 선형 시스템 $ A\boldsymbol{x} = \boldsymbol{b} $ (여기서 $ \boldsymbol{b} \notin \text{range}(A) $)를 해결하기 위해 오른쪽 전처리를 적용한 유연한 GMRES 프레임워크 내에서 탐욕형 및 랜덤화 Kaczmarz 방법을 암묵적이고 변동형 전처리로 사용한다.
• 행렬 $ A A^T \boldsymbol{u} = \boldsymbol{b} $ 를 풀기 위해 내부 반복을 적용하고, $ \boldsymbol{x} = A^T \boldsymbol{u} $ 를 통해 $ A A^T $ 의 명시적 구성 없이 해를 도출한다.
• 정확성과 효율성의 균형을 위해 Kaczmarz 내부 반복 횟수와 이완 파라미터를 동적으로 조정하는 파rameter 튜닝 전략을 적용한다.
• Kaczmarz 유형의 내부 반복이 외부 GMRES 반복 동안 변화하는 비정적 전처리를 처리하기 위해 유연한 GMRES를 채택한다.
• 랜덤화 Kaczmarz에서 잔차 기여도가 가장 큰 행을 선택하기 위한 확률 기준을 도입하여 수렴 속도를 향상시킨다.
• 이 방법은 내부 반복 연산자 $ B $ 를 사용할 때 $ \boldsymbol{b} - A B \boldsymbol{u} $ 에 대해 유연한 GMRES를 적용하는 것과 수학적으로 동일하다.

실험 결과

연구 질문

• RQ1 탐욕형 및 랜덤화 Kaczmarz 내부 반복은 일관된 선형 시스템에서 유연한 GMRES 프레임워크 내에서 효과적이고 적응형 전처리로 기능할 수 있는가?
• RQ2 NE-SOR 내부 반복을 Kaczmarz 유형의 방법으로 대체함으로써 큰 희소 일관된 선형 시스템을 풀 때 총 CPU 시간을 줄일 수 있는가?
• RQ3 내부 반복 횟수와 이완 파라미터의 동적 튜닝이 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ4 랜덤화된 행 선택으로 인해 전처리가 비정적일 경우, 제안된 유연한 GMRES 방법의 이론적 수렴 거동은 어떠한가?
• RQ5 과잉 결정 및 부족 결정 시스템 양쪽에서 표준 전처리 GMRES에 비해 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 Kaczmarz 유형의 내부 반복 전처리를 적용한 유연한 GMRES 방법은 모든 테스트 문제에서 NE-SOR 전처리 GMRES에 비해 총 CPU 시간 측면에서 뛰어난 성능을 보였다.
• illc1850 문제에서, 이 방법은 1.00 CPU 시간 단위 내에 상대 잔차 0.153를 달성했고, NE-SOR는 유사한 정확도에 도달하기 위해 더 많은 시간이 소요되었다.
• RANDL1T 문제에서는 1.00 CPU 시간 단위 내에 상대 잔차 0.940를 달성하여, 큰 희소 부족 결정 시스템에서 매우 높은 효율성을 입증했다.
• 특히 행 접근 비용이 높은 문제에서 NE-SOR에 비해 필요한 행 연산 수가 감소한 랜덤화 Kaczmarz 내부 반복은 유리한 성능을 발휘했다.
• 이론적 분석을 통해 유연한 GMRES 방법이 주어진 전처리 프레임워크 하에서 잔차 노름을 최적으로 최소화함을 확인했다.
• Maragal, photogrammetry2, gen 등의 다양한 테스트 케이스에서 수치 결과를 통해 일관된 수렴 속도 향상과 안정성 확보를 입증했으며, 특히 악조건이거나 질량이 빠진 시스템에서 뛰어난 성능을 보였다.