[论文解读] Analysis of stochastic Lanczos quadrature for spectrum approximation

Tyler Chen, Thomas Trogdon+1 more|arXiv (Cornell University)|May 13, 2021

Sparse and Compressive Sensing Techniques参考文献 48被引用 7

一句话总结

本文对随机Lanczos求积法（SLQ）提供了严格的误差分析，该方法用于近似对称矩阵的累积经验谱测度（CESM）。文中建立了SLQ输出与真实CESM之间在Wasserstein距离和Kolmogorov–Smirnov距离上的概率界，表明SLQ在使用 $ \tilde{O}(t^{-2}) $ 个随机向量和 $ \tilde{O}(t^{-1}) $ 次Lanczos迭代时，以高概率实现 $ t \times |\text{range}(\text{spec}(\mathbf{A}))| $ 以内的精度。

ABSTRACT

The cumulative empirical spectral measure (CESM) $Φ[\mathbf{A}] : \mathbb{R} o [0,1]$ of a $n imes n$ symmetric matrix $\mathbf{A}$ is defined as the fraction of eigenvalues of $\mathbf{A}$ less than a given threshold, i.e., $Φ[\mathbf{A}](x) := \sum_{i=1}^{n} \frac{1}{n} {\large\unicode{x1D7D9}}[ λ_i[\mathbf{A}]\leq x]$. Spectral sums $\operatorname{tr}(f[\mathbf{A}])$ can be computed as the Riemann--Stieltjes integral of $f$ against $Φ[\mathbf{A}]$, so the task of estimating CESM arises frequently in a number of applications, including machine learning. We present an error analysis for stochastic Lanczos quadrature (SLQ). We show that SLQ obtains an approximation to the CESM within a Wasserstein distance of $t \: | λ_{ ext{max}}[\mathbf{A}] - λ_{ ext{min}}[\mathbf{A}] |$ with probability at least $1-η$, by applying the Lanczos algorithm for $\lceil 12 t^{-1} + \frac{1}{2} ceil$ iterations to $\lceil 4 ( n+2 )^{-1}t^{-2} \ln(2nη^{-1}) ceil$ vectors sampled independently and uniformly from the unit sphere. We additionally provide (matrix-dependent) a posteriori error bounds for the Wasserstein and Kolmogorov--Smirnov distances between the output of this algorithm and the true CESM. The quality of our bounds is demonstrated using numerical experiments.

研究动机与目标

• 为随机Lanczos求积法（SLQ）在近似对称矩阵的累积经验谱测度（CESM）方面提供理论基础。
• 以Wasserstein距离和Kolmogorov–Smirnov距离衡量SLQ相对于真实CESM的精度。
• 推导出依赖于矩阵特性的先验与后验误差界，使其在实际应用中具有实用价值。
• 通过在多种矩阵类型上的数值实验，展示这些误差界的紧致性与实际相关性。
• 通过统一的分析框架，阐明SLQ与类似谱近似方法（如核多项式法，KPM）之间的权衡关系。

提出的方法

• 该方法从单位球面上独立同分布地采样随机向量，通过加权累积谱测度 $ \Psi[\mathbf{A},\mathbf{v}](x) = \mathbf{v}^T \mathbbm{1}[\mathbf{A} \leq x] \mathbf{v} $ 构造CESM的无偏估计器。
• 对每个随机向量应用Lanczos算法，构建三对角矩阵，从而高效计算 $ \Psi[\mathbf{A},\mathbf{v}] $ 的高斯求积规则。
• 通过在多个随机向量上平均高斯求积结果，得到最终的随机Lanczos求积估计器。
• 利用高斯求积和Stieltjes过程的性质推导理论误差界，将误差与特征值分布及Lanczos步数关联。
• 先验误差界以矩阵条件数和期望精度 $ t $ 表示，要求 $ \lceil 4(n+2)^{-1}t^{-2}\ln(2n\eta^{-1})\rceil $ 个向量和 $ \lceil 12t^{-1} + \frac{1}{2} \rceil $ 次Lanczos迭代，以至少 $ 1 - \eta $ 的概率实现 $ t \times |\lambda_{\text{max}} - \lambda_{\text{min}}| $ 以内的误差。
• 后验误差界基于特征值分布与求积节点分布推导，提供更紧致、与矩阵相关的误差估计。

实验结果

研究问题

• RQ1 随机Lanczos求积法在近似累积经验谱测度时，其理论误差界是什么？
• RQ2 随机向量数量与Lanczos迭代次数如何影响Wasserstein与Kolmogorov–Smirnov距离下的近似精度？
• RQ3 能否推导出依赖于矩阵特性（如谱范围与条件数）的先验误差界？
• RQ4 后验误差界在实际中与真实误差相比如何？在何种情况下其误差会停滞？
• RQ5 SLQ与其他谱近似方法（如核多项式法，KPM）之间有何关系？它们的误差行为有何差异？

主要发现

• SLQ以至少 $ 1 - \eta $ 的概率实现Wasserstein距离误差不超过 $ t \times |\lambda_{\text{max}}[\mathbf{A}] - \lambda_{\text{min}}[\mathbf{A}]| $，所需Lanczos迭代次数为 $ \lceil 12t^{-1} + \frac{1}{2} \rceil $，随机向量数量为 $ \lceil 4(n+2)^{-1}t^{-2}\ln(2n\eta^{-1}) \rceil $。
• 先验误差界在迭代次数上呈 $ O(t^{-1}) $ 量级，在向量数量上呈 $ O(t^{-2}) $ 量级，与实验中观察到的实际收敛速率一致。
• 基于特征值聚类与求积节点分布的后验误差界在特征值紧密聚集时可能停滞，尤其当簇间距离远大于簇宽时更为明显。
• 对于平滑谱（如均匀分布情形），收敛速度约为 $ O(k^{-1}) $；而对于聚类谱（如MNIST协方差矩阵），随着 $ k $ 增大，收敛速度会快于 $ O(k^{-1}) $。
• 后验误差界停滞的原因在于：除非使用足够多的Lanczos步数，否则高斯求积无法分辨极窄的特征值簇。
• 数值实验表明，理论误差界具有紧致性与信息量，且在实践中后验误差界通常比先验误差界提供更精确的估计。