[論文レビュー] Perturbation Analysis and Randomized Algorithms for Large-Scale Total Least Squares Problems

Pengpeng Xie, Yimin Wei+1 more|arXiv (Cornell University)|Jan 27, 2014

Statistical and numerical algorithms参考文献 28被引用数 6

ひとこと要約

本稿では、全最小二乗（TLS）問題に対するより鋭い摂動バウンドを提示し、大規模で良好条件または悪条件のTLS問題を効率的に解くために、ランダム化アルゴリズム（Rtls、Rttls、Arttls）を導入する。ランダム化SVDを活用して、計算コストを低減しつつ高い精度を維持するTLS解の近似を実現することで、特に大規模で悪条件のシステムにおいて、従来のSVDベースの手法に比べて著しく高速化される。

ABSTRACT

In this paper, we present perturbation analysis and randomized algorithms for the total least squares (TLS) problems. We derive the perturbation bound and check its sharpness by numerical experiments. Motivated by the recently popular probabilistic algorithms for low-rank approximations, we develop randomized algorithms for the TLS and the truncated total least squares (TTLS) solutions of large-scale discrete ill-posed problems, which can greatly reduce the computational time and still keep good accuracy.

研究の動機と目的

• 従来のバウンドよりも鋭く、数値的に計算可能な新しい相対摂動バウンドを、全最小二乗（TLS）問題に対して導出すること。
• 先行研究における3つの異なる条件数定式化（Baboulin & Gratton, Li & Jia, Zhou et al.）がTLS文脈において数学的に同等であることを示すこと。
• 計算コストを低減しつつ、大規模なTLSおよび切断TLS（TTLS）問題を効率的に解くためのランダム化アルゴリズムを開発すること。
• ランダム化SVDを用いて、保証された精度を持つ固定精度および適応的解法戦略を、悪条件TLS問題に適用可能にする。
• 大規模な離散的悪条件問題に対して、従来のSVDベースのTLSソルバーよりもスケーラブルで高性能な代替手法を提供すること。

提案手法

• 行列 $[A, b]$ の特異値および右特異ベクトルを用いて、TLS問題に対する新しい相対摂動バウンドを導出。これにより、従来の一次近似に比べて改善が図られる。
• Kronecker積およびSVDに基づく表現を用いて、先行研究（Baboulin & Gratton, Li & Jia, Zhou et al.）における3つの異なる条件数定式化の数学的同等性を確立する。
• Rtlsアルゴリズムを提案：$[A, b]$ の完全SVDを近似するランダム化SVDを用いたランダム化TLSソルバで、計算複雑度を低減する。
• Rttlsを導入：$A$ に対するランダム化SVDを用いて切断パラメータを推定し、その後 $[A, b]$ に適用することで、効率的なTTLS解を得るランダム化切断TLSアルゴリズム。
• Arttlsを提案：ユーザーが定めた許容誤差に達するまで繰り返しサンプリングを増加させる適応的ランダム化アルゴリズムで、最小限の計算量で解の精度を保証する。
• 大規模行列の主要特異部分空間を近似するためにランダム化SVD技術を活用し、完全SVDを実行せずに高速かつ高精度なTLS解を得ることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 全最小二乗問題に対して、より鋭く数値的に計算可能な摂動バウンドをどのように導出できるか？
• RQ2 Baboulin & Gratton、Li & Jia、Zhou et al. が別々に提案した3つの異なるTLS用条件数定式化は、数学的に同等であるか？
• RQ3 ランダム化SVDを用いて、大規模なTLSおよび切断TLS問題の解法を効果的に高速化できるか、かつ精度を保持できるか？
• RQ4 大規模で悪条件のシステムにおいて、ランダム化アルゴリズムを用いて、切断TLSの正則化パラメータを効率的に推定できるか？
• RQ5 適応的ランダム化アルゴリズムは、従来のSVDベースの手法に比べて、著しく計算時間を短縮しつつも、高い精度を達成できるか？

主な発見

• 提案された摂動バウンドは、従来の一次近似よりも著しく鋭く、数値実験により計算可能であることが確認された。
• Baboulin & Gratton、Li & Jia、Zhou et al. が提案した3つの条件数定式化は数学的に同等であることが示され、従来の定式化における曖昧さが解消された。
• Rtlsアルゴリズムは、古典的なSVDベースのTLSソルバーよりも計算時間を最大90％短縮し、すべてのテストケースで相対誤差が10⁻²未満を維持した。
• Rttlsアルゴリズムは、$m=5000$ の行列に対して、相対誤差が10⁻²未満の高精度を達成した一方で、完全SVDに比べて2秒未満の計算時間で実行された（対照的に、完全SVDでは170秒以上を要した）。
• Arttls適応的アルゴリズムは、相対誤差が10⁻¹未満の高精度を達成しながら、従来のTTLSソルバーよりも計算時間を最大70％短縮した。
• Phillips、I_Laplace、Heatなどの悪条件問題において、ノイズレベルが高くなる（$\delta = 10^{-3}$）状況下でも、ランダム化アルゴリズムは安定した性能と精度を維持した。