[論文レビュー] Analysis of stochastic Lanczos quadrature for spectrum approximation

Tyler Chen, Thomas Trogdon+1 more|arXiv (Cornell University)|May 13, 2021

Sparse and Compressive Sensing Techniques参考文献 48被引用数 7

ひとこと要約

本稿は、対称行列の累積経験固有値測度（CESM）を近似するための確率的ランチョス求積法（SLQ）について、きめ細やかな誤差解析を提供する。SLQの出力と真のCESMとの間のワサーライン距離およびコルモゴロフ–スミルノフ距離について、確率的境界を確立し、SLQが高確率で $ t \times |\text{spec}(\mathbf{A})| $ の精度を達成することを示している。そのために $ \tilde{O}(t^{-2}) $ 個のランダムベクトルと $ \tilde{O}(t^{-1}) $ 回のランチョス反復が必要となる。

ABSTRACT

The cumulative empirical spectral measure (CESM) $Φ[\mathbf{A}] : \mathbb{R} o [0,1]$ of a $n imes n$ symmetric matrix $\mathbf{A}$ is defined as the fraction of eigenvalues of $\mathbf{A}$ less than a given threshold, i.e., $Φ[\mathbf{A}](x) := \sum_{i=1}^{n} \frac{1}{n} {\large\unicode{x1D7D9}}[ λ_i[\mathbf{A}]\leq x]$. Spectral sums $\operatorname{tr}(f[\mathbf{A}])$ can be computed as the Riemann--Stieltjes integral of $f$ against $Φ[\mathbf{A}]$, so the task of estimating CESM arises frequently in a number of applications, including machine learning. We present an error analysis for stochastic Lanczos quadrature (SLQ). We show that SLQ obtains an approximation to the CESM within a Wasserstein distance of $t \: | λ_{ ext{max}}[\mathbf{A}] - λ_{ ext{min}}[\mathbf{A}] |$ with probability at least $1-η$, by applying the Lanczos algorithm for $\lceil 12 t^{-1} + \frac{1}{2} ceil$ iterations to $\lceil 4 ( n+2 )^{-1}t^{-2} \ln(2nη^{-1}) ceil$ vectors sampled independently and uniformly from the unit sphere. We additionally provide (matrix-dependent) a posteriori error bounds for the Wasserstein and Kolmogorov--Smirnov distances between the output of this algorithm and the true CESM. The quality of our bounds is demonstrated using numerical experiments.

研究の動機と目的

• 対称行列の累積経験固有値測度（CESM）を近似するための確率的ランチョス求積法（SLQ）の理論的基盤を提供すること。
• 真のCESMとのワサーライン距離およびコルモゴロフ–スミルノフ距離の観点から、SLQの精度を定量化すること。
• 行列に依存する、実用的で役立つ事前および事後誤差境界を導出すること。
• 多様な行列タイプにおける数値実験を通じて、これらの境界のきめ細かさと実用的妥当性を示すこと。
• 統一的解析フレームワークを提供することで、SLQと類縁のスペクトル近似手法（例：カーネル多項式法（KPM））との間のトレードオフを明確にすること。

提案手法

• 単位球面上から一様に抽出されたランダムベクトルを用い、重み付き累積固有値測度 $ \Psi[\mathbf{A},\mathbf{v}](x) = \mathbf{v}^T \mathbbm{1}[\mathbf{A} \leq x] \mathbf{v} $ を介してCESMの不偏推定量を生成する。
• 各ランダムベクトルに対してランチョス法を適用し、三重対角行列を構築することで、$ \Psi[\mathbf{A},\mathbf{v}] $ に対するガウス求積規則の効率的計算を可能にする。
• 複数のランダムベクトルにおけるガウス求積結果を平均化することで、最終的な近似を得る。これが確率的ランチョス求積推定量となる。
• 理論的境界は、ガウス求積の性質およびステルトジェス手順を用いて導出され、誤差が固有値の分布とランチョスステップ数にどのように関連するかを示す。
• 事前境界は、行列の条件数と所望の精度 $ t $ に依存し、$ \lceil 4(n+2)^{-1}t^{-2}\ln(2n\eta^{-1})\rceil $ 個のベクトルと $ \lceil 12t^{-1} + \frac{1}{2} \rceil $ 回のランチョス反復を要し、$ t \times |\lambda_{\text{max}} - \lambda_{\text{min}}| $ の誤差を確率 $ 1 - \eta $ 以上で達成できる。
• 事後境界は、固有値分布と求積ノードの配置に基づいて導出され、よりきめ細やかで行列に依存する誤差推定を提供する。

実験結果

リサーチクエスチョン

• RQ1 確率的ランチョス求積法（SLQ）が累積経験固有値測度を近似する際の理論的誤差境界は何か？
• RQ2 ランダムベクトルの数とランチョス反復回数が、ワサーライン距離およびコルモゴロフ–スミルノフ距離の観点から近似精度にどのように影響するか？
• RQ3 スペクトル範囲や条件数といった行列の性質に依存する事前境界を導出できるか？
• RQ4 実際の状況では、事後誤差境界は真の誤差とどのように比較されるか？ また、どのような状況で境界が停滞するのか？
• RQ5 SLQと他のスペクトル近似手法（例：カーネル多項式法（KPM））との関係は何か？ また、それらの誤差挙動にはどのような相違があるか？

主な発見

• SLQは、$ \lceil 12t^{-1} + \frac{1}{2} \rceil $ 回のランチョス反復と $ \lceil 4(n+2)^{-1}t^{-2}\ln(2n\eta^{-1}) \rceil $ 個のランダムベクトルを用いることで、確率 $ 1 - \eta $ 以上でワサーライン距離誤差が $ t \times |\lambda_{\text{max}}[\mathbf{A}] - \lambda_{\text{min}}[\mathbf{A}]| $ 以下となることが保証される。
• 事前境界は、反復回数に関して $ O(t^{-1}) $、ベクトル数に関して $ O(t^{-2}) $ のスケーリングを示し、実験で観察される実用的収束レートと一致する。
• 固有値クラスタリングと求積ノード配置に基づく事後誤差境界は、固有値が非常に密に固まっている場合、特にクラスタ間隔がクラスタ幅に対して大きい場合には、収束が停滞する可能性がある。
• 滑らかなスペクトル（例：一様分布）では収束がおよそ $ O(k^{-1}) $ である一方、MNIST共分散のようなクラスタリングされたスペクトルでは、$ k $ が増加するにつれて $ O(k^{-1}) $ を超えて加速する。
• 事後境界の停滞は、十分なランチョスステップ数が使われない限り、ガウス求積が非常に狭い固有値クラスタを解像できないことによる。
• 数値実験により、理論的境界がきめ細やかで有用であることが確認された。特に、実際の応用では事後境界が事前境界よりも鋭い推定を提供することが多い。