[论文解读] A generalization of the randomized singular value decomposition

Nicolas Boullé, Alex Townsend|arXiv (Cornell University)|May 27, 2021

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文通过用其协方差矩阵可编码矩阵或算子先验知识的多元高斯随机向量替代标准高斯向量，推广了随机奇异值分解（SVD）。提出了一种基于加权雅可比多项式的新型协方差核，用于高斯过程，可控制采样函数的光滑性，并在高秩希尔伯特-施密特算子情况下，实现比标准随机SVD更低的近似误差。

ABSTRACT

The randomized singular value decomposition (SVD) is a popular and effective algorithm for computing a near-best rank $k$ approximation of a matrix $A$ using matrix-vector products with standard Gaussian vectors. Here, we generalize the randomized SVD to multivariate Gaussian vectors, allowing one to incorporate prior knowledge of $A$ into the algorithm. This enables us to explore the continuous analogue of the randomized SVD for Hilbert--Schmidt (HS) operators using operator-function products with functions drawn from a Gaussian process (GP). We then construct a new covariance kernel for GPs, based on weighted Jacobi polynomials, which allows us to rapidly sample the GP and control the smoothness of the randomly generated functions. Numerical examples on matrices and HS operators demonstrate the applicability of the algorithm.

研究动机与目标

• 将随机SVD从标准高斯向量推广至使用结构化协方差矩阵以融入先验知识。
• 通过从高斯过程采样随机函数，将随机SVD推广至无限维希尔伯特-施密特算子。
• 开发一种新型协方差核，可控制采样函数的光滑性并提高近似精度。
• 为在矩阵和算子设置下使用非标准高斯输入时的近似误差提供理论界。
• 通过数值实验表明，基于先验知识的协方差选择可获得比标准随机SVD更低的误差，尤其在高正则性或高秩算子情况下。

提出的方法

• 通过使用任意对称正半定协方差矩阵的多元高斯随机向量进行矩阵-向量乘积，推广随机SVD。
• 推导了在一般高斯输入分布下，矩阵和希尔伯特-施密特算子的近似误差的新理论界。
• 提出一种基于加权雅可比多项式的新型协方差核，其具有显式Karhunen–Loève展开，可实现快速采样。
• 利用雅可比核的Karhunen–Loève展开，高效生成具有可控正则性的光滑随机函数。
• 将推广后的算法应用于通过从高斯过程采样并利用随机SVD计算低秩近似来学习积分核（如格林函数）。
• 在数值实验中使用Chebfun实现核特征值和近似误差的高精度计算。

实验结果

研究问题

• RQ1 能否将随机SVD推广至使用具有结构化协方差矩阵的非标准多元高斯输入，以提高低秩近似的精度？
• RQ2 高斯过程中的协方差核选择如何影响希尔伯特-施密特算子随机SVD的收敛性和误差界？
• RQ3 基于加权雅可比多项式的新型协方差核是否能实现比标准核（如平方指数核）更快的采样速度和更好的采样函数光滑性控制？
• RQ4 核特征值的衰减速率与希尔伯特-施密特算子随机SVD近似误差之间有何关系？
• RQ5 在协方差矩阵中引入先验知识是否能获得比使用i.i.d.高斯向量的标准随机SVD更低的近似误差？

主要发现

• 使用知情协方差矩阵的推广随机SVD在存在矩阵或算子先验知识时，近似误差低于标准方法。
• 所提出的基于雅可比的高斯过程核可通过其Karhunen–Loève展开直接采样，实现比标准核更快的随机函数生成。
• 从高斯过程采样函数的光滑性可通过调节核特征值的衰减速率来控制，而该衰减速率与加权雅可比多项式的参数显式相关。
• 数值实验表明，在k=100时，使用K(2,2)Jac核的相对近似误差约为使用KSE核的45.6倍，但在k=91时，质量比约为117.8，与理论预测一致。
• 当协方差核的特征值衰减缓慢时，该算法对高秩积分核实现了接近最优的近似误差，与Rissanen序列的最优性能相匹配。
• 为非标准高斯输入推导的理论界提供了近似精度的概率保证，将随机SVD的应用范围扩展至结构化输入分布。