[논문 리뷰] Exploiting variable precision in GMRES

Serge Gratton, Ehouarn Simon외 2명|arXiv (Cornell University)|2019. 07. 24.

Matrix Theory and Algorithms참고 문헌 28인용 수 11

한 줄 요약

이 논문은 GMRES Krylov 부분공간 반복 해법기에서 내적과 행렬-벡터 곱의 정밀도를 반복이 진행됨에 따라 감소시키는 가변 정밀도 산술 전략을 제안한다. 수렴 속도나 최종 정확도에 영향을 주지 않으면서도 이를 가능하게 한다. 주요 기여는 부정확한 내적으로 인한 아르니올리 벡터의 직교성 상실에 대한 엄밀한 분석을 통해, 수치적 안정성과 정확도를 유지하면서도 정밀도를 낮출 수 있도록 하는 것이다.

ABSTRACT

We describe how variable precision floating point arithmetic can be used in the iterative solver GMRES. We show how the precision of the inner products carried out in the algorithm can be reduced as the iterations proceed, without affecting the convergence rate or final accuracy achieved by the iterates. Our analysis explicitly takes into account the resulting loss of orthogonality in the Arnoldi vectors. We also show how inexact matrix-vector products can be incorporated into this setting.

연구 동기 및 목표

• GMRES에서 수렴성이나 최종 해의 정확도를 떨어뜨리지 않고도 정밀도를 낮춘 산술을 가능하게 하기 위해.
• 부정확한 내적의 영향으로 인한 아르니올리 벡터의 직교성 상실에 영향을 분석하여, GMRES의 안정성에 중요한 요소로 삼기 위해.
• 알고리즘의 강건성을 유지하면서도 부정확한 행렬-벡터 곱을 통합하기 위해 프레임워크를 확장하기 위해.
• 가변 정밀도 하에서 오차 전파에 대한 이론적 경계를 제공하여 실용적 구현에서 신뢰성을 확보하기 위해.

제안 방법

• 수정된 그람-슈미트(MGS) 및 MGS-GMRES에서 유도된 반올림 오차 분석 기법을 응용하여 아르니올리 과정에서의 부정확한 내적을 모델링한다.
• 내적을 감소된 정밀도로 계산하는 편향 모델을 도입하여, 보정 행렬 $ F_k $ 에 의한 직교성 상실이 $ V_k^T V_k = I_k - F_k $ 에서 기록되도록 한다.
• 기저 행렬 $ Q $ 의 특이값 분석을 통해 직교성 상실의 경계와 GMRES 수렴에 미치는 영향을 유도하며, $ \rho_{\text{min}}(Q) $ 와 $ \rho_{\text{max}}(Q) $ 를 보정 행렬 $ F_k $ 의 노름과 연결한다.
• 부정확한 행렬-벡터 곱을 아르니올리 관계 $ A\tilde{V}_k = \tilde{V}_{k+1}\tilde{H}_k + E_k $ 에 추가적인 편향으로 모델링하고, 부정확한 내적과의 병합 효과를 분석한다.
• 가중 내적과 전체 최소 제곱형 경계를 사용하여 가변 정밀도 하에서 오차 추정치를 도출하며, 특히 잔여 벡터 노름 $ \beta e_1 - H_k y_k $ 에 초점을 맞춘다.
• 확대된 행렬 $ [\beta \tilde{\rho} e_1, H_k D_k^{-1}] $ 의 최소 특이값을 유계로 유지하기 위해 스케일링된 전체 최소 제곱(STLS) 거리를 활용한다. 이는 정밀도 감소 하에서도 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 반복이 진행됨에 따라 GMRES의 내적 계산을 정밀도를 낮춰도 수렴 속도나 최종 정확도에 영향을 주지 않도록 할 수 있는가?
• RQ2 내적의 부정확성이 아르니올리 벡터의 직교성 상실에 미치는 영향은 무엇이며, 이를 정량적으로 경계할 수 있는가?
• RQ3 부정확한 내적과 부정확한 행렬-벡터 곱의 병합 효과가 GMRES 수렴성과 잔여 벡터 감소에 미치는 영향은 무엇인가?
• RQ4 정밀도 감소가 GMRES 반복 해의 도달 가능한 정확도를 손상시키지 않도록 보장하기 위해 이론적 경계를 도출할 수 있는가?
• RQ5 편향 행렬 $ F_k $ 와 $ E_k $ 가 어떤 조건을 만족할 경우, 가변 정밀도 산술 하에서도 GMRES가 수렴 성질을 유지하는가?

주요 결과

• 내적 계산의 정밀도를 반복이 진행됨에 따라 낮출 수 있으며, 이는 수렴 속도나 최종 해의 정확도에 영향을 주지 않으며, 직교성 상실이 적절히 경계되어야 한다.
• 부정확한 내적으로 인한 아르니올리 벡터의 직교성 상실은 보정 행렬 $ F_k $ 로 정량화되며, 그 노름 $ \norm{F_k}_2 $ 는 기저 행렬 $ Q $ 의 최소 특이값 $ \rho_{\text{min}}(Q) $ 에 의해 경계된다.
• 반복 수 $ k \to \text{small} $ 일 때 $ \norm{F_k}_2 \to 0 $ 이면 GMRES 반복 해가 정확하게 유지되며, 이는 정밀도를 낮춘 상황에서도 유지된다.
• 스케일링된 전체 최소 제곱(STLS) 거리를 사용하여 잔여 벡터 노름 $ \norm{r_k}_2 $ 의 이론적 경계를 도출하였으며, 이는 가변 정밀도 하에서도 잔여 벡터가 유계로 유지됨을 보여준다.
• 만약 $ D_k $ 가 $ \norm{D_k}_2 \norm{t_k}_2 \norm{H_k^{-1}}_2 \rho_{\text{min}}(H_k) \rho_{\text{min}}(Q) \to 0 $ 를 만족하면, 잔여 벡터 노름은 $ \norm{t_k}_2 $ 로 유계로 유지되며, 이는 수렴성을 보장한다.
• 분석 결과, $ \tau_k \to 0 $ 이면 확대된 행렬의 최소 특이값이 0에서 멀리 떨어져 있음을 확인하였으며, 이는 정밀도 감소 하에서도 안정성과 수렴성을 유지함을 보여준다.