[논문 리뷰] Sublinear Time Eigenvalue Approximation via Random Sampling

Rajarshi Bhattacharjee, Gregory Dexter외 3명|arXiv (Cornell University)|2021. 09. 16.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 유계 성분을 가진 대칭 행렬의 모든 고유값을 랜덤 샘플링을 통해 부분 행렬을 추출하여 하위선형 시간 알고리즘으로 근사화하는 방법을 제시한다. Ō(log³n/ϵ³) × Ō(log³n/ϵ³) 크기의 주 부분 행렬을 샘플링하고, 그 고유값을 n/s 비율으로 스케일링함으로써 높은 확률로 ±ϵn의 덧셈 오차를 달성한다. 이는 고유값의 분포에 따라 행의 흐าก이거나 ℓ2 노름에 비례하는 비균일 샘플링 전략을 통해 이전의 경계보다 크게 향상된 성능을 보인다.

ABSTRACT

We study the problem of approximating the eigenspectrum of a symmetric matrix A ∈ ℝ^{n×n} with bounded entries (i.e., ‖A‖_∞ ≤ 1). We present a simple sublinear time algorithm that approximates all eigenvalues of A up to additive error ±εn using those of a randomly sampled Õ((log³ n)/ε³)×Õ((log³ n)/ε³) principal submatrix. Our result can be viewed as a concentration bound on the complete eigenspectrum of a random submatrix, significantly extending known bounds on just the singular values (the magnitudes of the eigenvalues). We give improved error bounds of ± ε √{nnz(A)} and ±ε‖A‖_F when the rows of A can be sampled with probabilities proportional to their sparsities or their squared 𝓁₂ norms respectively. Here nnz(A) is the number of non-zero entries in A and ‖A‖_F is its Frobenius norm. Even for the strictly easier problems of approximating the singular values or testing the existence of large negative eigenvalues (Bakshi, Chepurko, and Jayaram, FOCS '20), our results are the first that take advantage of non-uniform sampling to give improved error bounds. From a technical perspective, our results require several new eigenvalue concentration and perturbation bounds for matrices with bounded entries. Our non-uniform sampling bounds require a new algorithmic approach, which judiciously zeroes out entries of a randomly sampled submatrix to reduce variance, before computing the eigenvalues of that submatrix as estimates for those of A. We complement our theoretical results with numerical simulations, which demonstrate the effectiveness of our algorithms in practice.

연구 동기 및 목표

• 대규모 대칭 행렬의 전체 고유스펙트럼을 하위선형 시간 내에 근사화하는 데 도전한다.
• 일반 행렬의 경우 Ω(n²)의 쿼리 복잡도 하한선을 초월하기 위해 행렬 성분의 구조적 가정을 활용한다.
• 최소한의 입력 액세스로 정확한 고유값 근사화를 달성하는 샘플링 기반 알고리즘을 개발한다.
• 행의 흐릿함 또는 ℓ2 노름에 기반한 비균일 샘플링 전략을 통해 오차 경계를 향상시켜 ±ϵ√nnz(A) 또는 ±ϵ‖A‖F로 감소시킨다.
• 유계 성분을 가진 행렬의 랜덤 부분 행렬에서 고유값 집중 및 왜곡에 대한 이론적 보장을 제공한다.

제안 방법

• 원래의 대칭 행렬 A에서 균일하거나 비균일 샘플링을 사용하여 Ō(log³n/ϵ³) × Ō(log³n/ϵ³) 크기의 주 부분 행렬을 샘플링한다.
• 샘플된 부분 행렬의 고유값을 n/s 비율로 스케일링하여 전체 행렬 A의 고유값을 추정한다.
• 특정 항목을 부분 행렬에서 0으로 설정함으로써 분산 감소 기법을 적용하여 추정 정확도를 향상시킨다.
• 행의 흐릿함 또는 ℓ2 노름에 비례하는 비균일 샘플링 확률을 사용하여 더 탴밀한 오차 경계를 달성한다.
• 유계 성분을 가진 행렬에 대한 새로운 고유값 집중 및 왜곡 경계를 수립하여 이론적 분석을 뒷받침한다.
• 밀도가 높은 행렬과 흐린 행렬 모두에서 알고리즘을 구현하고 평가하며, 균일 샘플링 및 기준 근사치와 비교한다.

실험 결과

연구 질문

• RQ1 유계 성분을 가진 대칭 행렬의 모든 고유값을 랜덤 샘플링을 통해 하위선형 시간 내에 근사화할 수 있는가?
• RQ2 행의 흐릿함 또는 ℓ2 노름에 기반한 비균일 샘플링은 균일 샘플링에 비해 고유값 근사 오차를 어떻게 향상시키는가?
• RQ3 유의미한 랜덤 부분 행렬에서 고유값 집중에 대해 어떤 이론적 보장을 설정할 수 있는가?
• RQ4 부분 행렬의 특정 항목을 선택적으로 0으로 설정함으로써 분산 감소 기법이 고유값 추정 정확도를 향상시킬 수 있는가?
• RQ5 실제로 매트릭스의 흐릿함과 프로베누스 노름에 따라 오차 경계는 이론적 예측과 어떻게 상관관계를 가지는가?

주요 결과

• 이 알고리즘은 ‖A‖∞ ≤ 1인 대칭 행렬 A ∈ ℝⁿˣⁿ의 모든 고유값을 근사화할 때, 오직 Ō(log³n/ϵ³) × Ō(log³n/ϵ³) 크기의 부분 행렬 샘플링을 사용하여 ±ϵn의 덧셈 오차를 달성한다.
• 행의 흐릿함에 기반한 비균일 샘플링을 사용할 경우 오차 경계는 ±ϵ√nnz(A)로 향상되며, 여기서 nnz(A)는 A의 비영성분 수이다.
• 행의 ℓ2 노름에 기반한 샘플링을 사용할 경우 오차 경계는 Frobenius 노름 ‖A‖F로 더욱 향상되어 ±ϵ‖A‖F가 된다.
• 이러한 방법은 이전 연구를 크게 발전시켜 단지 특이값이 아니라 전체 고유스펙트럼에 대한 집중 경계를 제공한다.
• 수치 시뮬레이션 결과, 이 알고리즘이 균일 샘플링 및 기준 근사치보다 더 뛰어난 성능을 보이며, 특히 흐린 행렬과 구조적 행렬에서 뚜렷한 우수성을 보인다.
• 이론적 분석은 유계 성분을 가진 행렬을 대상으로 한 새로운 고유값 집중 및 왜곡 경계를 도입하여 개선된 오차 보장을 가능하게 한다.