[论文解读] A Kogbetliantz-type algorithm for the hyperbolic SVD

Vedran Novaković, Sanja Singer|arXiv (Cornell University)|Mar 14, 2020

Matrix Theory and Algorithms参考文献 34被引用 5

一句话总结

本论文提出了一种用于计算实数与复数方阵的双曲奇异值分解（HSVD）的J-Kogbetliantz算法，采用双侧并行Kogbetliantz型方法。推导出精确的2×2 HSVD公式，以浮点数算术实现，并引入一种动态选择策略与启发式收敛准则，以确保在非酉变换下仍具有稳定性和准确性，数值实验表明该算法在小到中等规模矩阵上具有极高的精度。

ABSTRACT

In this paper a two-sided, parallel Kogbetliantz-type algorithm for the hyperbolic singular value decomposition (HSVD) of real and complex square matrices is developed, with a single assumption that the input matrix, of order $n$, admits such a decomposition into the product of a unitary, a non-negative diagonal, and a $J$-unitary matrix, where $J$ is a given diagonal matrix of positive and negative signs. When $J=\pm I$, the proposed algorithm computes the ordinary SVD. The paper's most important contribution -- a derivation of formulas for the HSVD of $2 imes 2$ matrices -- is presented first, followed by the details of their implementation in floating-point arithmetic. Next, the effects of the hyperbolic transformations on the columns of the iteration matrix are discussed. These effects then guide a redesign of the dynamic pivot ordering, being already a well-established pivot strategy for the ordinary Kogbetliantz algorithm, for the general, $n imes n$ HSVD. A heuristic but sound convergence criterion is then proposed, which contributes to high accuracy demonstrated in the numerical testing results. Such a $J$-Kogbetliantz algorithm as presented here is intrinsically slow, but is nevertheless usable for matrices of small orders.

研究动机与目标

• 开发一种用于实数与复数方阵的双侧并行Kogbetliantz型超奇异值分解（HSVD）算法。
• 推导并实现浮点数算术下的精确2×2 HSVD公式，作为核心构建模块。
• 重新设计动态选择排序策略，以应对双曲变换的影响并控制非对角线范数的增长。
• 提出一种启发式但稳健的收敛准则，确保在浮点数算术下的数值计算中具有高精度。

提出的方法

• 推导实数与复数2×2矩阵HSVD的精确公式，包括其在浮点数算术中的数值实现。
• 通过一系列2×2更新，对迭代矩阵应用双曲变换，保持结构Gk = U∗k Gk−1 Vk。
• 基于数据依赖的选取权重，重新设计动态选择策略，以管理非酉变换带来的不稳定性。
• 采用基于非对角线Frobenius范数与对角线收敛性的启发式收敛准则，并通过数值测试验证。
• 使用OpenMP实现算法的多核并行化，批量并行处理2×2变换。
• 采用改进的选取排序方法，同时考虑选取权重的大小与符号，以提升收敛鲁棒性。

实验结果

研究问题

• RQ1 在非酉变换带来挑战的背景下，能否成功将Kogbetliantz型算法适配至双曲奇异值分解？
• RQ2 当使用双曲变换时，如何修改动态选择策略以稳定收敛性？
• RQ3 在浮点数算术下，双侧HSVD算法应采用何种有效且可靠的收敛准则？
• RQ4 该算法在小到中等规模矩阵上的精度与收敛速度表现如何？
• RQ5 能否在保持数值稳定性与精度的前提下，使用OpenMP高效并行化该算法？

主要发现

• J-Kogbetliantz算法在计算HSVD时表现出高精度，双精度下奇异值与关联Hermitian矩阵特征值的相对误差低于10−12。
• 启发式收敛准则能有效检测收敛，对于阶数高达2048的矩阵，通常仅需6至13个循环。
• 基于数据依赖权重的动态选择策略成功控制了非对角线范数的增长，即使在病态变换下也能防止发散。
• 并行多步实现比串行版本快超过三个数量级，使得该算法仅在并行模式下具有实际应用价值。
• 对于复数矩阵，该算法不仅在Frobenius范数与对角线意义上收敛，还表现出非对角线元素幅角的收敛行为，暗示存在额外的收敛特性。