[論文レビュー] Integrating multiple random sketches for singular value decomposition

Ting‐Li Chen, Dawei D. Chang+4 more|arXiv (Cornell University)|Aug 29, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用数 10

ひとこと要約

本稿では、低ランク行列近似における精度の向上と確率的ばらつきの低減を図るために、複数のランダムスケッチを統合するランダム化SVDアルゴリズムを提案する。複数のスケッチされた部分空間におけるコルモゴロフ＝ナグウモ型平均化を用いて、スタイフェル多様体制約付き最適化問題を解くことで、単一スケッチのランダム化SVDに比べて、より高い一貫性と収束速度を達成する。

ABSTRACT

The singular value decomposition (SVD) of large-scale matrices is a key tool in data analytics and scientific computing. The rapid growth in the size of matrices further increases the need for developing efficient large-scale SVD algorithms. Randomized SVD based on one-time sketching has been studied, and its potential has been demonstrated for computing a low-rank SVD. Instead of exploring different single random sketching techniques, we propose a Monte Carlo type integrated SVD algorithm based on multiple random sketches. The proposed integration algorithm takes multiple random sketches and then integrates the results obtained from the multiple sketched subspaces. So that the integrated SVD can achieve higher accuracy and lower stochastic variations. The main component of the integration is an optimization problem with a matrix Stiefel manifold constraint. The optimization problem is solved using Kolmogorov-Nagumo-type averages. Our theoretical analyses show that the singular vectors can be induced by population averaging and ensure the consistencies between the computed and true subspaces and singular vectors. Statistical analysis further proves a strong Law of Large Numbers and gives a rate of convergence by the Central Limit Theorem. Preliminary numerical results suggest that the proposed integrated SVD algorithm is promising.

研究の動機と目的

• 大規模行列に対する単一ランダムスケッチのランダム化SVDにおける高い確率的ばらつきと限界的な精度を解消すること。
• 複数の独立したランダムスケッチを活用して部分空間推定を改善するモンテカルロ型アルゴリズムの開発。
• 母集団平均化を用いて、計算された部分空間と真の特異部分空間・ベクトルの間の理論的一貫性を保証すること。
• アンサンブル統合を用いて、低ランクSVD近似における分散の低減と収束速度の向上。
• スタイフェル多様体上の最適化を用いた、複数のスケッチされた部分空間を統合する統計的に根拠のあるフレームワークの提供。

提案手法

• 入力行列Aの複数のランダムスケッチを、独立同一分布に従うガウス射影を用いて生成する統合SVD（iSVD）アルゴリズムを提案する。
• 複数のスケッチされた部分空間を最もよく表現する最適な部分空間を求めるために、スタイフェル多様体上での制約付き最適化問題を用いる。
• 複数の独立に抽出された部分空間を平均化するため、スタイフェル多様体上でのコルモゴロフ＝ナグウモ型平均化を繰り返し適用して最適化を解く。
• 母集団平均化の議論を用いて、スケッチ数を増加させることで、統合された部分空間が真の主要部分空間に収束することを示す。
• 特異ベクトルおよび部分空間の収束保証を、大数の法則と中心極限定理を用いて導出する。
• 入力行列Aを統合された部分空間に射影し、縮小された行列に対してSVDを実行することで、低ランクSVDを計算する。

実験結果

リサーチクエスチョン

• RQ1 複数のランダムスケッチを統合することで、単一スケッチ手法に比べて、低ランクSVD近似における確率的ばらつきを顕著に低減できるか？
• RQ2 スタイフェル多様体最適化を用いた複数のスケッチされた部分空間の統合は、真の主要部分空間および特異ベクトルの一貫した推定を可能にするか？
• RQ3 統合SVDアルゴリズムの収束速度は何か？また、大数の法則や中心極限定理のような確率的法則を用いて特徴づけられるか？
• RQ4 スタイフェル多様体上でのコルモゴロフ＝ナグウモ型平均化は、計算された特異ベクトルの安定性と精度をどのように向上させるか？
• RQ5 この統合フレームワークは、固有値問題やテンソル分解などの他の問題へ一般化可能か？

主な発見

• 2^19 × 2^20行列に対して、N=200のスケッチを用いた統合SVD（iSVD）は、Frobeniusノルム誤差1.95e-02（標準偏差6.30e-05）を達成し、ℓ=22のrSVD（1.90e-01、標準偏差1.39e-02）に比べ顕著に低い。
• 特異ベクトルに対して強い大数の法則が成立し、スケッチ数を増加させることで真の部分空間に収束することが保証される。
• 中心極限定理により、特異ベクトルの収束速度が確立され、推定の精度が定量的に評価可能となる。
• 理論的解析により、特異ベクトルが母集団平均化によって誘導されることを確認し、統合結果が真の構造と関連付けられることを裏付けた。
• 数値実験では、さまざまな行列サイズおよびサンプリング次元において、iSVDが単一スケッチのランダム化SVDに比べて確率的ばらつきを低減し、精度を向上させることを示した。
• 本手法はスケーラブルであり、並列処理に適しており、N個のスケッチは独立して処理可能であり、統合ステップもマルチコアまたはGPUアーキテクチャ上で並列化可能である。