[논문 리뷰] Analysis of stochastic Lanczos quadrature for spectrum approximation

Tyler Chen, Thomas Trogdon외 1명|arXiv (Cornell University)|2021. 05. 13.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 7

한 줄 요약

이 논문은 대칭 행렬의 누적 경험 스펙트럼 측도(CESM)를 근사하기 위한 방법인 스토하스틱 랭크조스 적분(SLQ)에 대한 엄밀한 오차 분석을 제공한다. SLQ의 출력과 진짜 CESM 사이의 워샤르슈타인 거리 및 코모고로프–스미르노프 거리에 대한 확률적 경계를 수립하여, SLQ가 고정 확률로 $ t \times |\text{spec}(\mathbf{A})| $ 수준의 정확도를 달성함을 보여주며, 이는 $ \tilde{O}(t^{-2}) $ 개의 랜덤 벡터와 $ \tilde{O}(t^{-1}) $ 번의 랭크조스 반복을 사용함으로써 가능하다.

ABSTRACT

The cumulative empirical spectral measure (CESM) $Φ[\mathbf{A}] : \mathbb{R} o [0,1]$ of a $n imes n$ symmetric matrix $\mathbf{A}$ is defined as the fraction of eigenvalues of $\mathbf{A}$ less than a given threshold, i.e., $Φ[\mathbf{A}](x) := \sum_{i=1}^{n} \frac{1}{n} {\large\unicode{x1D7D9}}[ λ_i[\mathbf{A}]\leq x]$. Spectral sums $\operatorname{tr}(f[\mathbf{A}])$ can be computed as the Riemann--Stieltjes integral of $f$ against $Φ[\mathbf{A}]$, so the task of estimating CESM arises frequently in a number of applications, including machine learning. We present an error analysis for stochastic Lanczos quadrature (SLQ). We show that SLQ obtains an approximation to the CESM within a Wasserstein distance of $t \: | λ_{ ext{max}}[\mathbf{A}] - λ_{ ext{min}}[\mathbf{A}] |$ with probability at least $1-η$, by applying the Lanczos algorithm for $\lceil 12 t^{-1} + \frac{1}{2} ceil$ iterations to $\lceil 4 ( n+2 )^{-1}t^{-2} \ln(2nη^{-1}) ceil$ vectors sampled independently and uniformly from the unit sphere. We additionally provide (matrix-dependent) a posteriori error bounds for the Wasserstein and Kolmogorov--Smirnov distances between the output of this algorithm and the true CESM. The quality of our bounds is demonstrated using numerical experiments.

연구 동기 및 목표

• 대칭 행렬의 누적 경험 스펙트럼 측도(CESM)를 근사하는 데 있어 스토하스틱 랭크조스 적분(SLQ)의 이론적 기반을 제공하는 것.
• 진짜 CESM와의 워샤르슈타인 거리 및 코모고로프–스미르노프 거리 기반으로 SLQ의 정확도를 정량화하는 것.
• 행렬에 의존하는 실용적인 오차 경계를 제공하는 사전 및 사후 오차 경계를 유도하는 것.
• 다양한 행렬 유형에 대한 수치 실험을 통해 이러한 경계의 날카움과 실용적 관련성을 입증하는 것.
• 커널 다항식 방법(KPM)과 같은 유사한 스펙트럼 근사 방법과의 상호 관계를 명확히 하고, 통합된 분석 프레임워크를 제공함으로써 SLQ와의 상호 교환 가능성과 오차 행동의 차이를 밝혀내는 것.

제안 방법

• 단위 구면에서 균일하게 샘플링된 랜덤 벡터를 사용하여, $ \Psi[\mathbf{A},\mathbf{v}](x) = \mathbf{v}^T \mathbbm{1}[\mathbf{A} \leq x] \mathbf{v} $ 형태의 가중 누적 스펙트럼 측도를 통해 CESM의 불편 추정량을 생성한다.
• 각 랜덤 벡터에 대해 랭크조스 알고리즘을 적용하여 삼중대각 행렬을 구성함으로써, $ \Psi[\mathbf{A},\mathbf{v}] $ 에 대한 가우시안 적분 규칙을 효율적으로 계산할 수 있도록 한다.
• 다중 랜덤 벡터에 대한 가우시안 적분 결과를 평균화하여 최종 근사값을 도출하며, 이를 스토하스틱 랭크조스 적분 추정량으로 구성한다.
• 가우시안 적분의 성질과 스티엘티예스 절차를 활용하여 이론적 오차 경계를 유도하며, 오차는 고유값 분포와 랭크조스 단계 수에 따라 관련된다.
• 사전 경계는 행렬의 조건수와 원하는 정밀도 $ t $ 를 기반으로 제시되며, $ \lceil 4(n+2)^{-1}t^{-2}\ln(2n\eta^{-1})\rceil $ 개의 벡터와 $ \lceil 12t^{-1} + \frac{1}{2} \rceil $ 번의 랭크조스 반복을 통해 $ t \times |\lambda_{\text{max}} - \lambda_{\text{min}}| $ 이내의 오차를 확률 $ 1 - \eta $ 이상로 달성할 수 있다.
• 사후 경계는 고유값 분포와 적분 노드 배치를 활용하여 유도되며, 더 날카운, 행렬에 특화된 오차 추정치를 제공한다.

실험 결과

연구 질문

• RQ1 스펙트럼 측도 근사에서 스토하스틱 랭크조스 적분의 이론적 오차 경계는 무엇인가?
• RQ2 랜덤 벡터의 수와 랭크조스 반복 수가 워샤르슈타인 거리 및 코모고로프–스미르노프 거리 기반의 근사 정확도에 어떻게 영향을 미치는가?
• RQ3 스펙트럼 범위와 조건수와 같은 행렬 성질에 따라 의존하는 사전 경계를 도출할 수 있는가?
• RQ4 사후 오차 경계는 실제 오차와 비교하여 어떻게 되며, 어떤 상황에서 정체되는가?
• RQ5 SLQ와 커널 다항식 방법(KPM)과 같은 다른 스펙트럼 근사 방법 간의 관계는 무엇이며, 오차 행동은 어떻게 다를까?

주요 결과

• SLQ는 $ \lceil 12t^{-1} + \frac{1}{2} \rceil $ 번의 랭크조스 반복과 $ \lceil 4(n+2)^{-1}t^{-2}\ln(2n\eta^{-1}) \rceil $ 개의 랜덤 벡터를 사용하여, 확률 $ 1 - \eta $ 이상으로 워샤르슈타인 거리 오차가 $ t \times |\lambda_{\text{max}}[\mathbf{A}] - \lambda_{\text{min}}[\mathbf{A}]| $ 이내가 된다.
• 사전 경계는 반복 수 기준으로 $ O(t^{-1}) $, 벡터 수 기준으로 $ O(t^{-2}) $ 의 스케일링을 보이며, 실험에서 관찰된 실용적 수렴 속도와 일치한다.
• 고유값 군집도와 적분 노드 배치에 기반한 사후 경계는 고유값이 매우 조밀하게 군집되어 있을 경우, 특히 군집 간 거리가 군집 폭 대비 클 경우 정체될 수 있다.
• 균일 분포 스펙트럼과 같은 매끄러운 스펙트럼의 경우 수렴 속도는 약 $ O(k^{-1}) $ 이며, MNIST 공분산과 같은 군집 스펙트럼의 경우 $ k $ 가 증가함에 따라 $ O(k^{-1}) $ 초과로 수렴 속도가 향상된다.
• 사후 경계의 정체성은 가우시안 적분이 충분한 랭크조스 단계를 사용하지 않는 한 매우 좁은 고유값 군집을 해상도할 수 없기 때문이다.
• 수치 실험을 통해 이론적 경계가 날카롭고 유용하다는 것이 확인되었으며, 실질적으로 사후 경계가 사전 경계보다 더 날카로운 추정치를 제공하는 경우가 많다.