[論文レビュー] A Generalized Randomized Rank-Revealing Factorization

Grey Ballard, James Demmel+2 more|arXiv (Cornell University)|Sep 14, 2019

Sparse and Compressive Sensing Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、積や逆行列の明示的計算なしに、低ランク近似を効率的かつ安定的に、通信最適化して計算できる一般化されたランダム化ランク・リーヴィール QR 分解（GURV）を導入する。この手法は高い確率で強いランク・リーヴィール性を達成し、理論的境界が明確に示され、数値実験においてきわめてタイトな性能を示す。

ABSTRACT

We introduce a Generalized Randomized QR-decomposition that may be applied to arbitrary products of matrices and their inverses, without needing to explicitly compute the products or inverses. This factorization is a critical part of a communication-optimal spectral divide-and-conquer algorithm for the nonsymmetric eigenvalue problem. In this paper, we establish that this randomized QR-factorization satisfies the strong rank-revealing properties. We also formally prove its stability, making it suitable in applications. Finally, we present numerical experiments which demonstrate that our theoretical bounds capture the empirical behavior of the factorization.

研究の動機と目的

• 行列積や逆行列を明示的に計算せずに、それらの積に直接作用するランク・リーヴィール分解を構築すること。
• Gu-Eisenstat の意味での強いランク・リーヴィール性を、高い確率で維持すること。
• QR 分解と行列積のみに依存することで、行列積の計算量と一致する計算量と通信量の最適化を達成すること。
• 分解の後退安定性と理論的確率的境界を形式的に証明すること。
• 構造的特異値分布を有する行列に対して、広範な数値実験を通じて理論的境界のタイトさを検証すること。

提案手法

• 本手法は、$ A = URV $ の形のランク・リーヴィール分解を構築するためのランダム化サンプリング戦略を採用する。ここで $ U $ と $ V $ は直交行列であり、$ R $ は上三角行列である。
• ランダム化された範囲抽出法を用いて、$ A $ の像空間の良好に条件付けられた基底を抽出し、$ \sigma_{\min}(R_{11}) \approx \sigma_r $ および $ \sigma_{\max}(R_{22}) \approx \sigma_{r+1} $ を保証する。
• 積構造 $ A = M_1 M_2^{-1} M_3 \cdots $ を扱うために、この分解を一般化し、積を明示的に計算せずに処理できるようにする。
• 理論的解析により、高い確率で $ \|R_{11}^{-1} R_{12}\|_2 \leq \frac{4.04}{\delta} \sqrt{r(n-r)} + 1 $ が成立することが示される。
• 通信を回避する QR アルゴリズムに依存することで、算術計算量と通信量が行列積と一致する。
• 数値実験では、段差型および対数スケールで間隔をあけた特異値を持つ行列を用い、境界のタイトさと実効的挙動を評価する。

実験結果

リサーチクエスチョン

• RQ1 行列積や逆行列を明示的に計算せずに、強いランク・リーヴィール性を維持するランダム化 QR 分解を設計可能か？
• RQ2 分解における $ R_{11} $ の条件数、$ R_{22} $ のノルム、および非対角ブロック $ R_{12} $ に対して、どのような理論的確率的境界を確立できるか？
• RQ3 提案手法は、標準的な QR 分解や行列積と同等の通信最適化性を達成できるか？
• RQ4 異なる行列構造や特異値ギャップに対して、理論的境界と実測値との間のタイトさはどの程度か？
• RQ5 通信最適化された分割統治アルゴリズムを用いた非対称固有値問題の文脈において、この分解は実効的に適用可能か？

主な発見

• 理論的境界として、$ \sigma_r / \sigma_{\min}(R_{11}) $、$ \sigma_{\max}(R_{22}) / \sigma_{r+1} $、および $ \|R_{11}^{-1} R_{12}\|_2 $ が、高い確率で成立し、後者は $ \frac{4.04}{\delta} \sqrt{r(n-r)} + 1 $ で有界であることが証明された。
• 境界 $ \|R_{11}^{-1} R_{12}\|_2 \leq \frac{4.04}{\delta} \sqrt{r(n-r)} + 1 $ は、実測の 97 パーセンタイルが理論的予測に非常に近接していることから、タイトであることが示された。
• 段差型特異値分布を有する行列では、決定的境界は確率的境界よりも緩いが、後者は依然としてタイトで予測可能である。
• $ n = 1500 $ および $ \sigma_r / \sigma_{r+1} = 10^7 $ の実験において、条件数と非対角ノルムの実測 97 パーセンタイルは、理論的境界内に収束していた。
• 積や逆行列を明示的に計算せずに、行列積の積に直接適用しても、強いランク・リーヴィール性が維持される。
• 数値結果から、理論的境界が実際の分布とほぼ一致しており、複数のテスト設定において、実測分布が理論的上界のわずか下に位置することが確認された。