[論文レビュー] The low-rank eigenvalue problem

Yuji Nakatsukasa|arXiv (Cornell University)|May 27, 2019

Sparse and Compressive Sensing Techniques参考文献 7被引用数 5

ひとこと要約

本稿では、$X = AB$ という大規模な低ランク行列の固有値および固有ベクトルを効率的に計算するアルゴリズムを提示する。この手法は、$AB$ と $BA$ の非ゼロ固有値が同一であるという恒等式を活用しており、$r \ll N$ である $r \times r$ の小さな行列 $BA$ を構築することで、計算コストを $O(N^3)$ から $O(r^3)$ に削減する。非ゼロ固有値および固有ベクトルは $w = Bv$ を通じて正確に対応づけられ、ゼロ固有値におけるジョルダン細胞構造の違いも同定される。主な貢献は、$BA$ からの情報に基づき、$AB$ のジョルダン構造を完全に特徴づけること、特にゼロ固有値のジョルダン細胞サイズの変化とランク保存変換を含む。

ABSTRACT

The nonzero eigenvalues of $AB$ are equal to those of $BA$: an identity that holds as long as the products are square, even when $A,B$ are rectangular. This fact naturally suggests an efficient algorithm for computing eigenvalues and eigenvectors of a low-rank matrix $X= AB$ with $A,B^T\in\mathbb{C}^{N imes r}, N\gg r$: form the small $r imes r$ matrix $BA$ and find its eigenvalues and eigenvectors. For nonzero eigenvalues, the eigenvectors are related by $ ABv = λv \Leftrightarrow BAw = λw $ with $w=Bv$, and the same holds for Jordan vectors. For zero eigenvalues, the Jordan blocks can change sizes between $AB$ and $BA$, and we characterize this behavior.

研究の動機と目的

• 大規模な低ランク行列に対する標準的固有値ソルバーの計算非効率性を解消すること。
• 非ゼロ固有値が $AB$ と $BA$ で同一であるという性質を活用し、問題のサイズを低減すること。
• $BA$ から得られる小さな行列を用いて、$AB$ のジョルダン構造を完全に特徴づけること、特にゼロ固有値のジョルダン細胞サイズの変化を含むこと。
• $O(r^3)$ の演算で済む数値的に安定で効率的なアルゴリズムを提供し、$O(N^3)$ ではなく $AB$ の固有ペアを計算すること。

提案手法

• 低ランク分解 $X = AB$ において、$A, B^T \in \mathbb{C}^{N \times r}$ かつ $N \gg r$ であることを前提に、$r \times r$ の小さな行列 $BA$ を構築する。
• 標準的手法を用いて $BA$ の固有値および固有ベクトルを計算し、$O(r^3)$ の浮動小数点演算で十分である。
• 関係式 $w = Bv$ を用いて、$BA$ の非ゼロ固有値および固有ベクトルを $AB$ のそれらに写像する。ここで $v$ は $BA$ の固有ベクトル、$w$ は $AB$ の固有ベクトルである。
• ゼロ固有値のジョルダン細胞の変換を特徴づける：$BA$ におけるサイズ $k_i$ の各ジョルダン細胞は、$AB$ ではサイズ $k_i + 1$ に変化し、追加で $N - r - \ell$ 個のサイズ 1 の細胞が出現する。
• 行列 $A$ がフルランクである場合、$A^T A v = \lambda S v$ の対称一般化固有値問題を解くために $A^T A$ のコレスキー分解を用い、数値的安定性を確保する。
• $AB$ の得られた固有ベクトルが正規直交であり、$X = W \Lambda W^T$ を通じて完全な分解を形成することを検証する。

実験結果

リサーチクエスチョン

• RQ1 大規模な低ランク行列 $X = AB$ の固有値問題を、$X$ を明示的に構築せずに効率的に解く方法は何か？
• RQ2 特に細胞サイズの変化に関して、ゼロ固有値における $AB$ と $BA$ のジョルダン構造の正確な関係は何か？
• RQ3 $AB$ の非ゼロ固有値および固有ベクトルは、$BA$ のそれらから正確に回復可能か？
• RQ4 $A$ や $B$ がランク不足である場合、$AB$ および $BA$ の固有構造にどのような影響を与えるか？
• RQ5 低ランク設定下で、標準的固有値ソルバーと本手法の計算コストはどのように比較されるか？

主な発見

• $AB$ と $BA$ の非ゼロ固有値は、代数的・幾何的重複度を含めて同一であり、$BA$ から $AB$ への固有ペアの正確な転送が可能である。
• $AB$ の非ゼロ固有値に対応する固有ベクトルは、$w = Bv$ で関係づけられ、ここで $v$ は $BA$ の固有ベクトルである。この関係はジョルダン鎖を保持する。
• ゼロ固有値に関して、$AB$ の幾何的重複度は $N - r + \ell$ である。ここで $\ell$ は $BA$ におけるゼロの幾何的重複度であり、追加で $N - r - \ell$ 個の $1 \times 1$ ジョルダン細胞が出現する。
• $BA$ におけるゼロ固有値の各サイズ $k_i$ のジョルダン細胞は、$AB$ ではサイズ $k_i + 1$ に変化する。これはフランドスの定理と整合的である。
• $AB$ のジョルダン構造の全次元は完全に説明されている：非ゼロおよび変換されたゼロ固有値から $r + \ell$、新しい $1 \times 1$ 細胞から $N - r - \ell$ が寄与する。
• 本手法により、$AB$ の固有ペアを計算する計算コストは $O(N^3)$ から $O(r^3)$ に削減され、$BA$ を構築するための追加 $2Nr^2$ 演算を除けば、$N \gg r$ の大規模な場合に極めて効率的である。