[論文レビュー] Generalized Davidson and multidirectional-type methods for the generalized singular value decomposition

Ian N. Zwaan, Michiel E. Hochstenbach|arXiv (Cornell University)|May 17, 2017

Matrix Theory and Algorithms参考文献 19被引用数 6

ひとこと要約

本稿では、一般化ダビデソンおよび多次元部分空間拡張技術を用いて、極値の一般化特異値および特異ベクトルを計算するための2つの新しい反復手法を提案する。両手法とも、厚さリスタートと高速切断ステップを採用し、効率性を維持しており、収束が単調的かつ漸近的に線形であることが保証されており、数値実験を通じて競争力があることが示されている。

ABSTRACT

We propose new iterative methods for computing nontrivial extremal generalized singular values and vectors. The first method is a generalized Davidson-type algorithm and the second method employs a multidirectional subspace expansion technique. Essential to the latter is a fast truncation step designed to remove a low quality search direction and to ensure moderate growth of the search space. Both methods rely on thick restarts and may be combined with two different deflation approaches. We argue that the methods have monotonic and (asymptotic) linear convergence, derive and discuss locally optimal expansion vectors, and explain why the fast truncation step ideally removes search directions orthogonal to the desired generalized singular vector. Furthermore, we identify the relation between our generalized Davidson-type algorithm and the Jacobi--Davidson algorithm for the generalized singular value decomposition. Finally, we generalize several known convergence results for the Hermitian eigenvalue problem to the Hermitian positive definite generalized eigenvalue problem. Numerical experiments indicate that both methods are competitive.

研究の動機と目的

• フルなGSVD計算が非現実的である大規模な一般化特異値分解（GSVD）問題に対して、効率的な反復ソルバーを開発すること。
• 各反復で正確な解を必要とする内側・外側反復法の計算非効率性、特に大規模なスパース行列に対して顕著な問題を解決すること。
• 既存手法の制限を克服し、悪条件な行列の二乗化を必要とせず、かつ右特異ベクトルのみを計算する手法の限界を解消すること。
• 行列の二乗化を伴わずに、左および右の一般化特異ベクトルを同時に計算できる手法を設計すること。
• 新規の高速切断機構と厚さリスタート戦略により、収束の安定性と部分空間の成長の管理を確保すること。

提案手法

• レイリー・リツ抽出と残差に基づく補正を用いて、反復的に探索部分空間を拡張する一般化ダビデソン型アルゴリズムを提案する。
• 標準の補正ベクトルを超える改善された探索方向を生成するための多次元部分空間拡張技術を導入する。
• 望ましい一般化特異ベクトルに直交する探索方向を除去する高速切断ステップを実装し、精度を損なわずに部分空間次元を低減する。
• 不要なリーツ対を破棄することで、コンactかつ効果的な探索空間を維持するための厚さリスタートを適用する。
• 数値的安定性を向上させるとともに、GSVDにおけるヤコビ＝ダビデソン法との関連を明確にするために、$B^*B$-正規直交化を用いる。
• 複数の一般化特異値および特異ベクトルを順次処理するための2つのデフラス戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 単調収束を示す一般化ダビデソン型手法が、一般化特異値分解に効果的に適応可能か？
• RQ2 多次元部分空間拡張は、標準の補正ベース手法と比較して、GSVD計算における収束をどのように改善するか？
• RQ3 高速切断が、大規模問題における部分空間の質を維持するとともに成長を制御する役割を果たすか？
• RQ4 厚さリスタートとデフラス戦略は、反復的GSVDソルバーの効率性と頑健性をどのように向上させるか？
• RQ5 ヒルベルト固有値問題における収束結果が、一般化固有値問題（特にGSVDの文脈において）にどの程度一般化可能か？

主な発見

• 一般化ダビデソン型手法は、単調的かつ漸近的に線形の収束を示し、信頼性の高い収束挙動を保証する。
• 高速切断を組み合わせた多次元部分空間拡張手法は、競争力のある性能を示し、数値実験で標準的手法を上回る。
• 高速切断ステップは、望ましい一般化特異ベクトルに直交する探索方向を効果的に除去し、精度を保持しながら部分空間のサイズを制限する。
• 提案手法は、$B^*B$-正規直交化の下でヤコビ–ダビデソン法と同等であることが示され、理論的関連性が確立された。
• ヒルベルト固有値問題における理論的誤差境界が、ヒルベルト正定値一般化固有値問題に一般化され、新たな収束の洞察が得られた。
• 数値実験により、両手法が極値の一般化特異値および特異ベクトルの計算に有効であることが確認された。特に大規模スパースな状況下で顕著である。