[論文レビュー] A contribution to the condition number of the total least squares problem

Zhongxiao Jia, Bingyu Li|arXiv (Cornell University)|Jan 12, 2011

Statistical and numerical algorithms参考文献 18被引用数 3

ひとこと要約

本稿では、全最小二乗（TLS）問題の条件数に対する計算効率が良く、鋭い境界をもつ新しい公式と境界を提示する。特異値分解（SVD）とクロネッカー積の性質を活用することで、従来の方法がすべての特異値を必要とするのに対し、より安価で正確な推定が可能となり、境界は常に鋭く、わずかな特異値のみに依存する。これは大規模なTLS問題に最適である。

ABSTRACT

This paper concerns cheaply computable formulas and bounds for the condition number of the TLS problem. For a TLS problem with data $A$, $b$, two formulas are derived that are simpler and more compact than the known results in the literature. One is derived by exploiting the properties of Kronecker products of matrices. The other is obtained by making use of the singular value decomposition (SVD) of $[A \,\,b]$, which allows us to compute the condition number cheaply and accurately. We present lower and upper bounds for the condition number that involve the singular values of $[A \,\, b]$ and the last entries of the right singular vectors of $[A \,\, b]$. We prove that they are always sharp and can estimate the condition number accurately by no more than four times. Furthermore, we establish a few other lower and upper bounds that involve only a few singular values of $A$ and $[A \,\, b]$. We discuss how tight the bounds are. These bounds are particularly useful for large scale TLS problems since for them any formulas and bounds for the condition number involving all the singular values of $A$ and/or $[A \ b]$ are too costly to be computed. Numerical experiments illustrate that our bounds are sharper than a known approximate condition number in the literature.

研究の動機と目的

• すべての特異値を含む従来の方法の高コストを克服し、計算効率的かつ正確なTLS条件数の公式を開発すること。
• 大規模問題へのスケーラビリティを可能にするために、少数の重要な特異値と[A b]の右特異ベクトル成分にのみ依存する、TLS条件数の下界および上界を導出すること。
• 既知の文献における近似条件数を改善し、常に4倍以内の要因で真の条件数を鋭く推定できる、より緊密で信頼性の高い境界を提供すること。
• 数値的に、提案された境界が、Aと[A b]の最小特異値が近接する場合に特に顕著に従来の近似を上回ることを示すこと。

提案手法

• クロネッカー積の性質を用いて、TLS条件数の新しい閉形式の式を導出することで、計算を簡略化し、数値的安定性を向上させること。
• 拡大行列[A b]のSVDに基づく代替公式を開発し、条件数の計算をより安価かつ正確に可能とすること。
• Aの特異値と[A b]の右特異ベクトルの最後の成分を含む、鋭い下界および上界を確立し、真の条件数に対して常に4倍以内であることを証明すること。
• 大規模問題においてフルSVDが非現実的である場合に適した、Aと[A b]の先頭の少数の特異値のみに依存する追加の境界を提案すること。
• 必要な特異値のみを計算するために反復的SVDソルバーを活用し、大規模なTLS問題において境界を実用可能にする。
• 特異値構造を制御した合成テスト問題を用いて、[Björckら, 2000]で知られている近似条件数と比較する数値実験により境界を検証すること。

実験結果

リサーチクエスチョン

• RQ1 既存の結果よりも単純で、計算効率の良いTLS条件数の公式を導出できるか？
• RQ2 少数の特異値にのみ依存する、鋭く計算が安価なTLS条件数の境界をどのように構築できるか？
• RQ3 提案された境界は常に鋭く、すべてのテストケースで真の条件数を4倍以内の要因で推定できるか？
• RQ4 特に悪条件の状況下で、[Björckら, 2000]における近似条件数と比較して、新しい境界はどの程度緊密で正確か？
• RQ5 フルSVD計算が非現実的である大規模なTLS問題において、提案された境界を効果的に使用できるか？

主な発見

• 提案されたSVDベースのTLS条件数の公式は、[Björckら, 2000]の方法よりも安価で正確な計算が可能である。
• Aの右特異ベクトルの最後の成分を含む新しい境界は、常に鋭く、真の条件数を4倍以内に推定する。
• σₙとσₙ₊₁が近接する場合（例：α ≤ 10⁻⁵）、提案された境界κ̄₁ʳ²は[Björckら, 2000]の近似条件数を著しく上回り、数個の桁の改善が得られる。
• Aと[A b]の先頭の少数の特異値にのみ依存する境界は、大規模問題において計算的に実行可能であり、非常に正確である。
• 数値実験により、新しい境界が常に既知の近似条件数よりも緊密であることが確認され、特に悪条件の領域で顕著である。
• テスト問題の構築により、特異値構造を制御でき、さまざまな条件数下での境界の鋭さと正確性の明確な検証が可能になった。