[论文解读] Minimizing convex quadratic with variable precision Krylov methods

Serge Gratton, Ehouarn Simon+1 more|arXiv (Cornell University)|Jul 17, 2018

Matrix Theory and Algorithms被引用 2

一句话总结

本文提出了一种用于求解凸二次优化问题的变精度Krylov方法，通过利用不精确的矩阵-向量乘积来实现。该文推导了共轭梯度法和全正交化方法的理论界，估计了关键量，并提出了在多精度计算环境中表现出色的实际算法。

ABSTRACT

Iterative algorithms for the solution of convex quadratic optimization problems are investigated, which exploit inaccurate matrix-vector products. Theoretical bounds on the performance of a Conjugate Gradients and a Full-Orthormalization methods are derived, the necessary quantities occurring in the theoretical bounds estimated and new practical algorithms derived. Numerical experiments suggest that the new methods have significant potential, including in the steadily more important context of multi-precision computations.

研究动机与目标

• 为应对多精度计算环境中对高效优化日益增长的需求。
• 分析在凸二次优化中容忍不精确矩阵-向量乘积的迭代求解器。
• 在不精确算术下，为共轭梯度法和全正交化方法推导理论性能界。
• 估计这些界中的关键量，以指导实际算法设计。
• 开发新型稳健算法，即使在变精度计算下也能保持收敛性。

提出的方法

• 在Krylov子空间方法中采用不精确的矩阵-向量乘积，以降低计算成本。
• 在变精度算术下，推导共轭梯度法和全正交化方法的理论收敛界。
• 估计条件数和残差范数，以量化不精确计算中的误差传播。
• 提出新型实用算法，根据理论误差界动态调整精度。
• 利用Krylov子空间投影，以降低中间步骤的精度来最小化二次目标函数。
• 通过在不同精度设置下对凸二次问题进行数值实验，验证了该方法的有效性。

实验结果

研究问题

• RQ1 不精确的矩阵-向量乘积如何影响Krylov方法在凸二次优化中的收敛性？
• RQ2 在变精度算术下，能否为共轭梯度法和全正交化方法推导出理论界？
• RQ3 哪些量控制着不精确Krylov迭代中的误差传播，以及如何高效估计它们？
• RQ4 能否设计出在降低矩阵-向量乘积精度的同时仍保持收敛性的实用算法？
• RQ5 与标准方法相比，这些方法在多精度计算工作负载中的表现如何？

主要发现

• 在不精确算术下，为共轭梯度法和全正交化方法推导了理论界，为精度控制提供了基础。
• 关键量如条件数和残差范数被有效估计，从而指导了算法设计。
• 开发了新型实用算法，即使在变精度矩阵-向量乘积下也能保持收敛性。
• 数值实验确认了显著的性能潜力，尤其在多精度计算环境中。
• 当在中间计算中降低精度时，这些方法表现出鲁棒性和高效性。
• 该方法在不牺牲凸二次问题解的精度的前提下，实现了显著的计算节省。