[論文レビュー] A generalization of the randomized singular value decomposition

Nicolas Boullé, Alex Townsend|arXiv (Cornell University)|May 27, 2021

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は、標準的なガウス分布ベクトルの代わりに、行列または作用素に関する事前知識を符号化できる共分散行列を備えた多変量ガウス確率ベクトルを用いることで、ランダム化特異値分解（SVD）を一般化する。ガウス過程に特化した重み付きジャコビ多項式に基づく新しい共分散カーネルを導入し、サンプル関数の滑らかさを制御可能とするとともに、特に高ランクのヒルベルト＝シュミット作用素に対して、標準的なランダム化SVDよりも低い近似誤差を達成する。

ABSTRACT

The randomized singular value decomposition (SVD) is a popular and effective algorithm for computing a near-best rank $k$ approximation of a matrix $A$ using matrix-vector products with standard Gaussian vectors. Here, we generalize the randomized SVD to multivariate Gaussian vectors, allowing one to incorporate prior knowledge of $A$ into the algorithm. This enables us to explore the continuous analogue of the randomized SVD for Hilbert--Schmidt (HS) operators using operator-function products with functions drawn from a Gaussian process (GP). We then construct a new covariance kernel for GPs, based on weighted Jacobi polynomials, which allows us to rapidly sample the GP and control the smoothness of the randomly generated functions. Numerical examples on matrices and HS operators demonstrate the applicability of the algorithm.

研究の動機と目的

• 標準的なガウス分布ベクトルを超えて、構造化された共分散行列を用いて事前知識を組み込むことで、ランダム化SVDを拡張すること。
• ガウス過程からの関数を用いて、無限次元のヒルベルト＝シュミット作用素に対してもランダム化SVDを一般化すること。
• サンプル関数の滑らかさを制御可能とし、近似精度を向上させる新しい共分散カーネルを開発すること。
• 行列および作用素設定において、非標準的なガウス入力を用いた場合の近似誤差に対する理論的バウンディングを提供すること。
• 数値実験により、標準的なランダム化SVDと比較して、事前知識を反映した共分散行列の選択が、特に高正則性または高ランク作用素に対して低い誤差を達成することを示すこと。

提案手法

• 任意の対称正定値共分散行列を備えた多変量ガウス確率ベクトルを用いた行列-ベクトル積に基づき、ランダム化SVDを一般化する。
• 一般ガウス入力分布下での行列およびヒルベルト＝シュミット作用素に対する近似誤差の新しい理論的バウンディングを導出する。
• 重み付きジャコビ多項式に基づく、新たな共分散カーネルを提案し、高速なサンプリングが可能な明示的カーリング＝ローヴェン展開を備える。
• ジャコビカーネルのカーリング＝ローヴェン展開を用いて、滑らかさを制御可能な関数を効率的に生成するガウス過程からのランダム関数を生成する。
• ガウス過程からのサンプリングとランダム化SVDによる低ランク近似を組み合わせることで、グリーン関数などの積分カーネルを学習する。
• 数値実験において、高精度なカーネル固有値および近似誤差の計算にChebfunを用いる。

実験結果

リサーチクエスチョン

• RQ1 構造化された共分散行列を備えた非標準的多変量ガウス入力を用いることで、低ランク近似精度を向上させたランダム化SVDを一般化できるか？
• RQ2 ガウス過程における共分散カーネルの選択が、ヒルベルト＝シュミット作用素に対するランダム化SVDの収束性および誤差バウンディングに与える影響は何か？
• RQ3 重み付きジャコビ多項式に基づく新しい共分散カーネルは、標準的なカーネル（例：平方指数カーネル）と比較して、より高速なサンプリングとより良い関数の滑らかさ制御を可能にするか？
• RQ4 カーネル固有値の減衰率と、HS作用素に対するランダム化SVDの近似誤差との関係は何か？
• RQ5 共分散行列に事前知識を組み込むことで、独立同一分布ガウスベクトルを用いた標準的なランダム化SVDよりも低い近似誤差が達成できるか？

主な発見

• 事前知識を反映した共分散行列を用いた一般化されたランダム化SVDは、特に行列または作用素に関する事前知識がある場合、標準的手法よりも低い近似誤差を達成する。
• 提案されたジャコビベースのガウス過程カーネルは、カーリング＝ローヴェン展開を直接用いることで、標準的なカーネルよりも高速な関数サンプリングを可能にする。
• ガウス過程からのサンプル関数の滑らかさは、カーネル固有値の減衰率を調整することで制御可能であり、これは重み付きジャコビ多項式のパラメータと明示的に関連している。
• 数値実験では、k=100におけるK(2,2)Jacカーネルの相対的近似誤差はKSEカーネルの約45.6倍であるが、k=91における品質比は約117.8に達し、理論的予測を確認する。
• 高ランク積分カーネルに対して、特に共分散カーネル固有値の減衰が遅い場合、近似誤差がほぼ最良のものに達することが示され、最適性能を示すリッサネン列と一致する。
• 非標準的ガウス入力に対する理論的バウンディングは、近似精度に関する確率的保証を提供し、ランダム化SVDの適用範囲を構造化された入力分布にまで拡張する。