[論文レビュー] Randomized square-root free algorithms for generalized Hermitian eigenvalue problems

Arvind K. Saibaba, Peter K. Kitanidis|arXiv (Cornell University)|Jul 25, 2013

Numerical methods in engineering参考文献 4被引用数 2

ひとこと要約

本稿では、$A$ がエルミートかつ $B$ がエルミート正定値である一般化ヘルミート固値問題 (GHEP) $Ax = \lambda Bx$ を解くための確率的で平方根を含まないアルゴリズムを提示する。本手法は $B^{1/2}$ や $B^{-1/2}$ の明示的計算を回避し、$Ax$、$Bx$、$B^{-1}x$ の行列-ベクトル積に依存することで、$B^{-1}A$ の一般化特異値が急速に減少する場合に高い精度を達成する。応用例としてカルフネン＝ローブ展開が挙げられる。

ABSTRACT

We describe randomized algorithms for computing the dominant eigenmodes of the Generalized Hermitian Eigenvalue Problem (GHEP) $Ax=\lambda Bx$, with $A$ Hermitian and $B$ Hermitian and positive definite. The algorithms we describe only require forming operations $Ax$, $Bx$ and $B^{-1}x$ and avoid forming square-roots of $B$ (or operations of the form, $B^{1/2}x$ or $B^{-1/2}x$). We provide a convergence analysis and a posteriori error bounds that build upon the work of~\cite{halko2011finding,liberty2007randomized,martinsson2011randomized} (which have been derived for the case $B=I$). Additionally, we derive some new results that provide insight into the accuracy of the eigenvalue calculations. The error analysis shows that the randomized algorithm is most accurate when the generalized singular values of $B^{-1}A$ decay rapidly. A randomized algorithm for the Generalized Singular Value Decomposition (GSVD) is also provided. Finally, we demonstrate the performance of our algorithm on computing the Karhunen-Loeve expansion, which is a computationally intensive GHEP problem with rapidly decaying eigenvalues.

研究の動機と目的

• 一般化ヘルミート固値問題 (GHEP) を解くための効率的な確率的アルゴリズムを、$B$ に対する平方根演算を要しないように開発すること。
• 一般化特異値が $B^{-1}A$ において急速に減少する場合に、主要固有モードを高精度で計算することを保証すること。
• 従来 $B=I$ の場合にのみ適用可能であった確率的手法を、正定値 $B$ を持つ一般の GHEP に拡張すること。
• 提案されたアルゴリズムの収束解析と事後誤差境界を提供することにより、標準固値問題における先行研究を一般化すること。

提案手法

• アルゴリズムは、$A$ の $B$ に関する主要固有空間の範囲をランダム射影によってサンプリングし、$B^{1/2}$ や $B^{-1/2}$ の明示的計算を回避する。
• ランダムベクトルに対して $Ax$、$Bx$、$B^{-1}x$ を計算し、主要一般化固有空間を近似する低次元部分空間を構築する。
• 行列-ベクトル積を用いて反復的に射影行列を更新する、確率的部分空間反復フレームワークを採用する。
• 一般化特異値が速やかに減少する場合に収束を保証するため、$B^{-1}A$ の構造を活用する。
• 一般化特異値の減少率に基づいた、事後誤差境界を導出する。これは、先行研究における確率的 SVD の一般化である。
• 一般化特異値分解 (GSVD) のための確率的アルゴリズムも、GHEP フレームワークの副産物として導入する。

実験結果

リサーチクエスチョン

• RQ1 標準固値問題のための確率的アルゴリズムを、$B^{1/2}$ や $B^{-1/2}$ を形成しないで一般化ヘルミート固値問題に適応する方法は何か？
• RQ2 $B^{-1}A$ にどのような条件が満たされると、主要固有モードの確率的計算が高精度になるか？
• RQ3 標準固値問題における収束性と誤差境界の結果が、正定値 $B$ を持つ一般化ケースにどのように拡張されるか？
• RQ4 提案された GHEP フレームワークから、確率的 GSVD アルゴリズムを導出できるか？
• RQ5 一般化特異値が急速に減少する実世界の問題、例えばカルフネン＝ローブ展開において、アルゴリズムの性能はいかがなっているか？

主な発見

• 一般化特異値が $B^{-1}A$ において急速に減少する場合、ランダム射影による部分空間近似が良好になるため、提案アルゴリズムは高精度を達成する。
• 本手法は $B$ に対する明示的平方根演算を回避することで、従来手法と比較して計算コストを低減し、数値的不安定性も軽減する。
• 一般化特異値の減少率に依存する事後誤差境界が導出され、$B=I$ の場合の先行研究を一般化している。
• 一般化特異値が急速に減少する計算コストの高い GHEP ケース、特にカルフネン＝ローブ展開問題において、本アルゴリズムは優れた性能を示す。
• GHEPソルバーの自然な拡張として、一般化特異値分解 (GSVD) のための確率的アルゴリズムが成功裏に導出され、より広範な応用可能性が得られた。