[论文解读] Generalized Davidson and multidirectional-type methods for the generalized singular value decomposition

Ian N. Zwaan, Michiel E. Hochstenbach|arXiv (Cornell University)|May 17, 2017

Matrix Theory and Algorithms参考文献 19被引用 6

一句话总结

本文提出两种新的迭代方法，通过广义戴维德森法和多方向子空间扩展技术计算广义奇异值和向量。两种方法均采用厚重启和快速截断步骤以保持效率，具有证明的单调收敛和渐近线性收敛性，并通过数值实验表明其具有竞争力。

ABSTRACT

We propose new iterative methods for computing nontrivial extremal generalized singular values and vectors. The first method is a generalized Davidson-type algorithm and the second method employs a multidirectional subspace expansion technique. Essential to the latter is a fast truncation step designed to remove a low quality search direction and to ensure moderate growth of the search space. Both methods rely on thick restarts and may be combined with two different deflation approaches. We argue that the methods have monotonic and (asymptotic) linear convergence, derive and discuss locally optimal expansion vectors, and explain why the fast truncation step ideally removes search directions orthogonal to the desired generalized singular vector. Furthermore, we identify the relation between our generalized Davidson-type algorithm and the Jacobi--Davidson algorithm for the generalized singular value decomposition. Finally, we generalize several known convergence results for the Hermitian eigenvalue problem to the Hermitian positive definite generalized eigenvalue problem. Numerical experiments indicate that both methods are competitive.

研究动机与目标

• 为大规模广义奇异值分解（GSVD）问题开发高效的迭代求解器，其中完整GSVD计算不可行。
• 解决内-外方法在每次迭代中需要精确求解所带来的计算低效问题，尤其针对大规模稀疏矩阵。
• 克服现有方法的局限性，如需要对病态矩阵进行平方处理，或仅能计算右奇异向量。
• 设计一种方法，无需矩阵平方即可同时计算左和右广义奇异向量。
• 通过新颖的快速截断机制和厚重启策略，确保收敛鲁棒性并控制子空间增长。

提出的方法

• 提出一种广义戴维德森型算法用于GSVD，通过瑞利-里茨提取和基于残差的修正，迭代扩展搜索子空间。
• 引入多方向子空间扩展技术，生成超越标准修正向量的改进搜索方向。
• 实现快速截断步骤，移除与所需广义奇异向量正交的搜索方向，从而在不损失精度的前提下减小子空间维度。
• 应用厚重启策略，丢弃不希望的里兹对，维持紧凑且高效的搜索空间。
• 采用 $B^*B$-正交化以提高数值稳定性，并将该方法与GSVD的雅可比-戴维德森算法联系起来。
• 集成两种降维策略，以按顺序处理多个广义奇异值和向量。

实验结果

研究问题

• RQ1 广义戴维德森型方法能否被有效适配用于广义奇异值分解，并实现单调收敛？
• RQ2 多方向子空间扩展如何在GSVD计算中提升收敛性能，超越基于标准修正的方法？
• RQ3 快速截断在大规模问题中如何在控制子空间增长的同时维持子空间质量？
• RQ4 厚重启和降维策略如何提升迭代GSVD求解器的效率和鲁棒性？
• RQ5 在GSVD背景下，能否将埃尔米特特征值问题的收敛结果推广至埃尔米特正定广义特征值问题？

主要发现

• 广义戴维德森型GSVD方法表现出单调且渐近线性收敛，确保了可靠的收敛行为。
• 结合快速截断的多方向子空间扩展方法在数值实验中表现出具有竞争力的性能，优于标准方法。
• 快速截断步骤能有效移除与所需广义奇异向量正交的搜索方向，同时保持精度并限制子空间大小。
• 所提方法在 $B^*B$-正交化下被证明与GSVD的雅可比-戴维德森算法等价，建立了理论联系。
• 埃尔米特特征值问题的理论误差界被推广至埃尔米特正定广义特征值问题，提供了新的收敛洞察。
• 数值实验确认两种方法在计算极值广义奇异值和向量方面均有效，尤其在大规模稀疏场景下表现优异。