[論文レビュー] Rapid factorization of structured matrices via randomized sampling

Per‐Gunnar Martinsson|ArXiv.org|Jun 13, 2008

Sparse and Compressive Sensing Techniques参考文献 10被引用数 11

ひとこと要約

本稿では、非対称でないが非対角ブロックが低い数値ランクである構造的行列の階層的準可逆（HSS）因子分解を迅速に計算するための確率的サンプリングアルゴリズムを提示する。高速な行列・ベクトル積と効率的な確率的サンプリングを活用することで、$O(Nk^2)$の計算量を達成し、$N$を行列サイズ、$k$を非対角ブロックの最大ランクとする。この方法により、高い精度と無視できる失敗確率で近似的に最適な低ランク近似が可能となる。

ABSTRACT

Randomized sampling has recently been demonstrated to be an efficient technique for computing approximate low-rank factorizations of matrices for which fast methods for computing matrix vector products are available. This paper describes an extension of such techniques to a wider class of matrices that are not themselves rank-deficient, but have off-diagonal blocks that are. Such matrices arise frequently in numerical analysis and signal processing, and there exist several methods for rapidly performing algebraic operations (matrix-vector multiplications, matrix factorizations, matrix inversion, extit{etc}) on them once low-rank approximations to all off-diagonal blocks have been constructed. The paper demonstrates that if such a matrix can be applied to a vector in O(N) time, where the matrix is of size $N imes N$, and if individual entries of the matrix can be computed rapidly, then in many cases, the task of constructing approximate low-rank factorizations for all off-diagonal blocks can be performed in $O(N k^{2})$ time, where $k$ is an upper bound for the numerical rank of the off-diagonal blocks.

研究の動機と目的

• 非自発的に低ランクでないが、非対角ブロックが低ランクである構造的行列のHSS因子分解を高速かつスケーラブルに計算する手法の開発。
• 既に因子分解されたHSS行列に対する高速な演算は既存するが、HSS要因の効率的構築にはギャップが存在するという問題に対処する。
• 行列の各要素へのアクセスと高速な行列・ベクトル乗算のみが利用可能な環境でもHSS因子分解を可能にする。
• 計算量を$O(Nk^2)$に保ちながら、高い精度とユーザーが制御可能な失敗確率を達成する。
• 対称な場合に限らない非対称および一般の構造的行列へまで、確率的サンプリング技術の適用範囲を拡張する。

提案手法

• 本手法は、行列構造を調査し、非対角ブロックの低ランク近似を抽出するために、$O(N(k+10))$個のガウス確率的ベクトルを用いた確率的サンプリングを採用する。
• 列空間と行空間を捉えるために、それぞれ$A^\top R^{\rm row}$および$A R^{\rm col}$の高速な行列・ベクトル積を用いて、サンプル行列$S^{\rm row}$と$S^{\rm col}$を構築する。
• 各階層的レベルで、サンプルを低次元の基底に圧縮するための補間を適用し、HSS要因$\hat{U}_\tau^{\rm row}$、$\hat{U}_\tau^{\rm col}$、$B_{\sigma_1\sigma_2}$を形成する。
• 中間行列に対するQRおよびSVD分解を実行することで、正規直交性の維持と正確な低ランク表現の抽出を実現する。
• 非対称行列の場合、別個の行および列のサンプル行列$S^{\rm row}_\tau$と$S^{\rm col}_\tau$を用い、それぞれ異なる補間および圧縮ステップを実施する。
• 失敗確率は$k+10$のオーバースマplingパラメータにより制御され、$10^{-5}$未満に保証され、高い信頼性を有する。

実験結果

リサーチクエスチョン

• RQ1 非対角ブロックが低ランクである構造的行列のHSS因子分解に、確率的サンプリングを効果的に適応できるか？
• RQ2 行列・ベクトル積と要素評価のみを用いてHSS要因を構築する際の計算量はどの程度か？
• RQ3 実用的応用において、失敗確率を最小限に抑えながら高い精度を維持できるか？
• RQ4 本手法を最小限の修正で非対称行列へ一般化できるか？
• RQ5 確率的HSS因子分解プロセスにおいて、計算コストと精度のトレードオフはどのようなものか？

主な発見

• 総計算コストは$T_{\rm total} \sim T_{\rm mult} \times 2(k+10) + T_{\rm rand} \times N(k+10) + T_{\rm entry} \times 2Nk + T_{\rm flop} \times cNk^2$で抑えられ、$c$は小さな定数である。
• ここで$T_{\rm mult} = O(N)$であれば、全体の計算量は$O(Nk^2)$となり、大規模行列に対してもスケーラブルである。
• 失敗確率は$k+10$のオーバースマplingのおかげで、厳密に$10^{-5}$未満であることが保証され、実際にははるかに小さい。
• テスト環境における低ランク近似の相対誤差は、一貫して$10^{-10}$未満である。
• 最小限のオーバースマplingでも高い精度を達成でき、確率的スキームは実用的・信頼性が高い。
• 本アルゴリズムは、わずかな調整でHSS、$\mathcal{H}^2$-行列、および関連する階層的行列形式へ直接適用可能である。