[论文解读] Exploiting variable precision in GMRES

Serge Gratton, Ehouarn Simon+2 more|arXiv (Cornell University)|Jul 24, 2019

Matrix Theory and Algorithms参考文献 28被引用 11

一句话总结

本文提出了一种针对GMRES Krylov子空间迭代求解器的可变精度算术策略，在迭代过程中逐步降低内积和矩阵-向量乘积的精度，而不会影响收敛速度或最终精度。关键贡献在于对由于内积不精确导致Arnoldi向量正交性损失的严格分析，从而在保持数值稳定性和精度的前提下实现精度降低。

ABSTRACT

We describe how variable precision floating point arithmetic can be used in the iterative solver GMRES. We show how the precision of the inner products carried out in the algorithm can be reduced as the iterations proceed, without affecting the convergence rate or final accuracy achieved by the iterates. Our analysis explicitly takes into account the resulting loss of orthogonality in the Arnoldi vectors. We also show how inexact matrix-vector products can be incorporated into this setting.

研究动机与目标

• 在不降低GMRES收敛性或最终解精度的前提下，实现GMRES中的低精度算术运算。
• 分析不精确内积对Arnoldi向量正交性损失的影响，这是GMRES稳定性的一个关键因素。
• 将框架扩展以包含不精确的矩阵-向量乘积，同时保持算法的鲁棒性。
• 为可变精度下的误差传播提供理论界，确保实际实现中的可靠性。

提出的方法

• 将修正Gram-Schmidt（MGS）和MGS-GMRES中的舍入误差分析技术应用于建模Arnoldi过程中不精确内积的模型。
• 引入一种扰动模型，其中内积以降低精度计算，导致正交性损失由$ V_k^T V_k = I_k - F_k $中的校正矩阵$ F_k $捕捉。
• 通过基矩阵$ Q $的奇异值分析，推导出正交性损失及其对GMRES收敛性影响的界，将$ ho_{ ext{min}}(Q) $和$ ho_{ ext{max}}(Q) $与正交性误差$ F_k $的范数联系起来。
• 通过在Arnoldi关系$ A ilde{V}_k = ilde{V}_{k+1} ilde{H}_k + E_k $中建模不精确矩阵-向量乘积作为额外扰动，分析其与不精确内积的联合影响。
• 使用加权内积和总最小二乘型界，推导出在可变精度下的误差估计，特别是针对残差范数$ eta e_1 - H_k y_k $。
• 采用缩放总最小二乘（STLS）距离，对增广矩阵$ [eta ilde{ ho} e_1, H_k D_k^{-1}] $的最小奇异值进行界估计，确保在精度降低下保持稳定性。

实验结果

研究问题

• RQ1 在GMRES中，随着迭代进行，内积计算是否可以以降低精度进行，而不会影响收敛速度或最终精度？
• RQ2 内积的不精确性如何影响Arnoldi向量的正交性损失，且该影响能否被定量界定？
• RQ3 不精确内积与不精确矩阵-向量乘积的联合效应如何影响GMRES的收敛性和残差减小？
• RQ4 能否推导出理论界，以确保精度降低不会损害GMRES迭代的可达到精度？
• RQ5 在扰动矩阵$ F_k $和$ E_k $满足何种条件下，GMRES在可变精度算术下仍能保持其收敛特性？

主要发现

• 只要正交性损失被适当地界定，GMRES中内积的精度可以在迭代过程中降低，而不会影响收敛速度或最终解的精度。
• 由于不精确内积导致的Arnoldi向量正交性损失由校正矩阵$ F_k $量化，其范数$ orm{F_k}_2 $被界定为$ rac{1}{ ho_{ ext{min}}(Q)} $，其中$ ho_{ ext{min}}(Q) $是基矩阵$ Q $的最小奇异值。
• 当$ orm{F_k}_2 o 0 $随着$ k o ext{small} $时，GMRES迭代保持精度，即使在降低精度下也成立。
• 通过缩放总最小二乘（STLS）距离推导出残差范数$ orm{r_k}_2 $的理论界，表明在可变精度下残差仍保持有界。
• 当$ D_k $满足$ orm{D_k}_2 orm{t_k}_2 orm{H_k^{-1}}_2 ho_{ ext{min}}(H_k) ho_{ ext{min}}(Q) o 0 $时，残差范数被$ orm{t_k}_2 $有界，确保收敛性。
• 分析证实，若$ au_k o 0 $，增广矩阵的最小奇异值保持远离零，从而在精度降低下保持稳定性和收敛性。