[論文レビュー] Fast and stable randomized low-rank matrix approximation

Yuji Nakatsukasa|arXiv (Cornell University)|Sep 23, 2020

Sparse and Compressive Sensing Techniques参考文献 55被引用数 18

ひとこと要約

この論文は、一般の密行列およびスパース行列に対して、数値的に安定で、1回のパスで実行可能なランク付き低ランク行列近似手法である一般化されたNyströmを導入する。$O(mn\log n + r^3)$ の近似的最適な計算量を達成し、HMT や Tropp よりも最大10倍速く、特に $r$ が大きい場合に優れた精度を維持する。また、直交化処理を必要とせず、効率的な更新およびドウンドーティングが可能である。

ABSTRACT

Randomized SVD has become an extremely successful approach for efficiently computing a low-rank approximation of matrices. In particular the paper by Halko, Martinsson, and Tropp (SIREV 2011) contains extensive analysis, and has made it a very popular method. The typical complexity for a rank-$r$ approximation of $m imes n$ matrices is $O(mn\log n+(m+n)r^2)$ for dense matrices. The classical Nystr{ö}m method is much faster, but applicable only to positive semidefinite matrices. This work studies a generalization of Nystr{ö}m method applicable to general matrices, and shows that (i) it has near-optimal approximation quality comparable to competing methods, (ii) the computational cost is the near-optimal $O(mn\log n+r^3)$ for dense matrices, with small hidden constants, and (iii) crucially, it can be implemented in a numerically stable fashion despite the presence of an ill-conditioned pseudoinverse. Numerical experiments illustrate that generalized Nystr{ö}m can significantly outperform state-of-the-art methods, especially when $r\gg 1$, achieving up to a 10-fold speedup. The method is also well suited to updating and downdating the matrix.

研究の動機と目的

• 正定値行列に限定されていた古典的なNyström法を、一般の行列に一般化し、その高速性と精度の利点を維持すること。
• HMT や Tropp のようなランダム化SVD手法に内在する $O(mr^2)$ の直交化コストを排除すること。特に $r$ が大きい場合に顕著な利点を発揮する。
• 近似式に疑似逆行列を用いるが、これは悪条件になりやすいにもかかわらず、数値的安定性を保証すること。
• ストリーミングやインクリメンタル学習の応用において不可欠な、効率的な行列の更新およびドウンドーティングを可能にすること。
• HMT や Tropp と同等の近似的最適な近似精度を達成するが、計算コストを著しく削減すること。

提案手法

• 一般化されたNyström近似の提案：$\hat{A}_r = A X (X^T A X)^\dagger X^T$。ここで $X$ はランダムスケッチ行列であり、古典的なNyström法を非PSD行列に一般化する。
• 密行列やスパース行列に対して、$A X$ と $X^T A X$ を計算するため、$X \in \mathbb{R}^{n \times r}$ をランダムスケッチ行列として用い、$A X$ の完全直交化を回避する。
• ランダム化された範囲探索を用いて $Q = \text{orth}(A X)$ を計算し、その後 $Q$ を用いて近似 $A Q (Q^T A Q)^\dagger Q^T$ を構築する。これは一般化されたNyström式と数学的に同等である。
• 構造的ランダム行列（例：SRHT、SRFT、部分抽出DCT）を活用し、行列-ベクトル積を高速化することで、$O(mn\log n)$ のサンプリングコストを達成する。
• 丸め誤差が近似に与える影響が最小限であることを示す安定性解析を提示。これにより、疑似逆行列が悪条件になりうるにもかかわらず、数値的ロバスト性が保証される。
• 既存の $X$ と $A X$ の計算を再利用することで、再計算から完全に回避し、効率的な行列更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Nyström法の高速性、精度、1パス性は、正定値でない行列に対しても一般化可能か？
• RQ2 一般行列に対して、$O(mn\log n + r^3)$ の計算量と最小限の直交化コストで、近似的最適な近似品質を達成可能か？
• RQ3 疑似逆行列が悪条件になりうるにもかかわらず、Nyströmに類似した手法が数値的に安定か？
• RQ4 一般化されたNyström法の性能は、ランク $r$ の増加に伴いどのように変化するか。特にHMT や Tropp と比較してどうか？
• RQ5 ストリーミングやインクリメンタルな設定において、効率的な行列の更新およびドウンドーティングが可能か？

主な発見

• 一般化されたNyströmは、$r$ が大きい場合にHMT や Tropp より最大10倍の高速化を達成し、$r$ が大きくなるほど速度向上が顕著になる。
• HMT や Tropp と同等の近似精度を維持しており、Frobeniusノルムにおける相対誤差は各手法間でほとんど同一である。
• 数値実験により、丸め誤差が一般化されたNyström近似に与える影響が最小限であることが確認され、数値的安定性が裏付けられた。
• 幾何級数的に減少する特異値をもつ $50,000 \times 50,000$ の密行列において、特に高ランクでの実行時間において、一般化されたNyströmはHMT や Tropp より顕著に優れている。
• スパース行列の実験においても、一般化されたNyströmは顕著な高速化を達成しているが、因子にスパarsityを強制していないため、スパーススケッチとの統合の余地があると考えられる。
• 行列更新の実験では、一般化されたNyströmが、既存のスケッチと積の計算を再利用することで、完全な再計算を回避し、効率的なインクリメンタル更新を実現している。