[论文解读] A contribution to the condition number of the total least squares problem

Zhongxiao Jia, Bingyu Li|arXiv (Cornell University)|Jan 12, 2011

Statistical and numerical algorithms参考文献 18被引用 3

一句话总结

本文提出了总最小二乘（TLS）问题条件数的新计算公式与紧致界，计算效率更高。通过利用奇异值分解（SVD）和克罗内克积的性质，作者推导出比现有方法更廉价且更精确的估计，其界始终为紧致界，仅需少量奇异值，因此特别适用于大规模TLS问题。

ABSTRACT

This paper concerns cheaply computable formulas and bounds for the condition number of the TLS problem. For a TLS problem with data $A$, $b$, two formulas are derived that are simpler and more compact than the known results in the literature. One is derived by exploiting the properties of Kronecker products of matrices. The other is obtained by making use of the singular value decomposition (SVD) of $[A \,\,b]$, which allows us to compute the condition number cheaply and accurately. We present lower and upper bounds for the condition number that involve the singular values of $[A \,\, b]$ and the last entries of the right singular vectors of $[A \,\, b]$. We prove that they are always sharp and can estimate the condition number accurately by no more than four times. Furthermore, we establish a few other lower and upper bounds that involve only a few singular values of $A$ and $[A \,\, b]$. We discuss how tight the bounds are. These bounds are particularly useful for large scale TLS problems since for them any formulas and bounds for the condition number involving all the singular values of $A$ and/or $[A \ b]$ are too costly to be computed. Numerical experiments illustrate that our bounds are sharper than a known approximate condition number in the literature.

研究动机与目标

• 开发计算高效且精确的TLS条件数公式，克服现有方法中涉及所有奇异值所带来的高成本。
• 推导仅依赖于[A b]的少数关键奇异值及右奇异向量分量的下界与上界，实现对大规模问题的可扩展性。
• 在文献中已知的近似条件数基础上进行改进，提供更紧致、更可靠的界，且始终在真实条件数的四倍以内。
• 通过数值实验表明，所提出的界在A与[A b]的最小奇异值接近时，显著优于现有近似方法。

提出的方法

• 利用克罗内克积的性质，推导出TLS条件数的新闭式表达式，简化计算并提高数值稳定性。
• 基于增广矩阵[A b]的SVD，提出另一种公式，实现条件数的更廉价且更精确计算。
• 建立涉及[A b]奇异值及右奇异向量最后一项的紧致下界与上界，证明其始终在真实条件数的四倍以内。
• 提出仅依赖A与[A b]前导少数奇异值的附加界，适用于全SVD不可行的大规模问题。
• 利用迭代SVD求解器仅计算所需奇异值，使界在大规模TLS问题中具有实际可行性。
• 通过数值实验验证界的有效性，将其与[Björck等，2000]中已知的近似条件数进行比较，使用具有受控奇异值结构的合成测试问题。

实验结果

研究问题

• RQ1 我们能否推导出比现有结果更简单且计算更高效的TLS条件数公式？
• RQ2 如何构建仅依赖少数奇异值的紧致、低成本计算的TLS条件数界？
• RQ3 所提出的界是否始终为紧致界？能否在所有测试案例中将真实条件数估计在有界因子（如四倍）以内？
• RQ4 在病态情形下，新界与[Björck等，2000]中近似条件数相比，在紧致性与准确性上表现如何？
• RQ5 所提出的界是否可在全SVD计算不可行的大规模TLS问题中有效使用？

主要发现

• 所提出的基于SVD的TLS条件数公式，相比[Björck等，2000]中的方法，计算更廉价且更精确。
• 涉及[A b]右奇异向量最后一项的新型界始终为紧致界，且对真实条件数的估计始终在四倍以内。
• 当σₙ与σₙ₊₁接近时（例如α ≤ 10⁻⁵），所提出的界κ̄₁ʳ²显著优于[Björck等，2000]中的近似条件数，提升达数个数量级。
• 仅依赖A与[A b]前导少数奇异值的界在计算上可行，且对大规模问题具有高度准确性。
• 数值实验确认，新界始终比已知的近似条件数更紧致，尤其在病态情形下表现更优。
• 测试问题的构建确保了受控的奇异值结构，使界在不同条件数下的紧致性与准确性得以清晰验证。