[論文レビュー] Stability of fast algorithms for structured linear systems

Richard P. Brent|May 5, 2010

Matrix Theory and Algorithms参考文献 60被引用数 13

ひとこと要約

本稿は、トーペリッツ行列やハンケル行列などの構造的線形方程式系を解く高速 $O(n^2)$ アルゴリズムの数値的安定性を調査する。特にピボット操作中に構造を保存する手法に焦点を当てる。一般化されたシュール法や半正規方程式法は弱安定性を示す一方で、高速直交分解法は直交行列 $Q$ の計算が不安定であるため、しばしば失敗することが判明。本稿では、コレスキーの下方化と埋め込み技術を用いた修正法を提案し、安定性を確保するが、計算コストが増加する。

ABSTRACT

We survey the numerical stability of some fast algorithms for solving systems of linear equations and linear least squares problems with a low displacement-rank structure. For example, the matrices involved may be Toeplitz or Hankel. We consider algorithms which incorporate pivoting without destroying the structure, and describe some recent results on the stability of these algorithms. We also compare these results with the corresponding stability results for the well known algorithms of Schur/Bareiss and Levinson, and for algorithms based on the semi-normal equations.

研究の動機と目的

• 構造的線形方程式系、特に低位移ランクを持つもの（例：トーペリッツおよびハンケル行列）を対象として、高速 $O(n^2)$ アルゴリズムの数値的安定性を分析すること。
• レヴィンソン法、シュール／ベアイス法、一般化されたシュール法と、半正規方程式法および高速直交分解法に基づくアルゴリズムの安定性特性を比較すること。
• 直交行列 $Q$ を直交行列の積として形成しない高速アルゴリズムが、高速性にもかかわらずしばしば不安定である理由を特定すること。
• 埋め込みに基づく手法や修正されたコレスキーの下方化を含む、構造的分解における $Q$ や $U$ の安定的計算の代替手法を検討すること。
• 構造的線形方程式系の文脈における弱安定性と完全安定性の違いを明確にし、高速アルゴリズムの安定性を証明する際の課題を強調すること。

提案手法

• トーペリッツ、ハンケル、カウチ行列を含む構造的行列の分析を統一するため、位移ランクフレームワークを用いる。
• バンチが提唱した安定性および弱安定性の定義を適用し、高速アルゴリズムの数値的挙動を評価する。
• 半正規方程式法の分析：$T^T T$ の安定的コレスキー分解を介して $\tilde{U}^T\tilde{U}x = T^Tb$ を解くことで、$\tilde{U}$ の弱安定性を保証する。
• 一般化されたシュール法を $T^T T$ に適用する代替手法を検討し、$Q$ の直接計算とは異なり、条件数を二乗する点に注目する。
• 埋め込みベースの手法（例えば、チャンドラセカランとサヤドの手法）を評価する。$n \times n$ 行列を $2n \times 2n$ システムに埋め込むことで、$Q$ の安定的計算が可能になるが、定数係数が増加する。
• 古典的 $O(n^3)$ 直交分解（例：ギブンズ、ハウスドルフ）と $O(n^2)$ の代替手法を比較し、後者ではコレスキーの下方化の感度に起因して $Q$ の安定的形成に失敗することを示す。

実験結果

リサーチクエスチョン

• RQ1 構造的線形方程式系に対する高速 $O(n^2)$ アルゴリズムは、高速性の利点があるにもかかわらず、なぜしばしば数値的安定性を維持できないのか？
• RQ2 半正規方程式法と一般化されたシュール法の安定性を、構造的最小二乗問題を解く文脈で比較するとどうなるか？
• RQ3 構造的分解における直交因子 $Q$ を計算するための安定的 $O(n^2)$ アルゴリズムを構築可能か？その際のトレードオフは何か？
• RQ4 半正規方程式法において $T^T T$ を形成する際の条件数の二乗化の影響は何か？実用的な可解性にどのように影響するか？
• RQ5 なぜコレスキーの下方化が、構造的行列に対する高速直交分解アルゴリズムの主な不安定要因となるのか？

主な発見

• 半正規方程式法は、$T^T T$ の安定的コレスキー分解と組み合わせることで、一般トーペリッツ系を $O(n^2)$ 操作で弱安定的に解くアルゴリズムを提供する。
• 半正規方程式法から得られる上三角行列 $\tilde{U}$ は、$\|T^T T - \tilde{U}^T \tilde{U}\| / \|T^T T\| = O_m(\varepsilon)$ を満たし、近似的に最適な後退誤差を示す。
• コレスキーの下方化を用いて $Q$ を計算する高速直交分解アルゴリズムは、下方化が丸め誤差に対して本質的に感受性が高いため、数値的に不安定である。
• チャンドラセカランとサヤドの埋め込みベース手法により、$T = LQU$ の安定的因子分解が可能であるが、コストは $59n^2 + O(n\log n)$ にまで上昇する。これに対して、BBH や半正規方程式法は $8n^2 + O(n\log n)$ である。
• 条件数 $\kappa$ が $1/\sqrt{\varepsilon} \leq \kappa \leq 1/\varepsilon$ の範囲にある場合、反復修正は失敗する可能性があり、精度を回復するには二重精度算術が必要となる場合がある。
• 本稿は、高速アルゴリズムの安定性を証明することは、それらを考案することよりもはるかに困難であり、構造を活用するにあたり、注意深い数値解析がなければ安定性は保証されないという結論に至る。