[論文レビュー] Sublinear Time Eigenvalue Approximation via Random Sampling

Rajarshi Bhattacharjee, Gregory Dexter+3 more|arXiv (Cornell University)|Sep 16, 2021

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、有界なエントリを持つ対称行列のすべての固有値を、主成分部分行列のランダムサンプリングを用いて、サブラインアート時間で近似するアルゴリズムを提示する。サンプリングする部分行列のサイズを Ō(log³n/ϵ³) × Ō(log³n/ϵ³) とし、その固有値を n/s でスケーリングすることで、高確率で ±ϵn の加法的誤差を達成する。これは、行のスパarsity や ℓ2 ノルムに基づく非一様サンプリング戦略を用いることで、従来の境界を著しく改善したものである。

ABSTRACT

We study the problem of approximating the eigenspectrum of a symmetric matrix A ∈ ℝ^{n×n} with bounded entries (i.e., ‖A‖_∞ ≤ 1). We present a simple sublinear time algorithm that approximates all eigenvalues of A up to additive error ±εn using those of a randomly sampled Õ((log³ n)/ε³)×Õ((log³ n)/ε³) principal submatrix. Our result can be viewed as a concentration bound on the complete eigenspectrum of a random submatrix, significantly extending known bounds on just the singular values (the magnitudes of the eigenvalues). We give improved error bounds of ± ε √{nnz(A)} and ±ε‖A‖_F when the rows of A can be sampled with probabilities proportional to their sparsities or their squared 𝓁₂ norms respectively. Here nnz(A) is the number of non-zero entries in A and ‖A‖_F is its Frobenius norm. Even for the strictly easier problems of approximating the singular values or testing the existence of large negative eigenvalues (Bakshi, Chepurko, and Jayaram, FOCS '20), our results are the first that take advantage of non-uniform sampling to give improved error bounds. From a technical perspective, our results require several new eigenvalue concentration and perturbation bounds for matrices with bounded entries. Our non-uniform sampling bounds require a new algorithmic approach, which judiciously zeroes out entries of a randomly sampled submatrix to reduce variance, before computing the eigenvalues of that submatrix as estimates for those of A. We complement our theoretical results with numerical simulations, which demonstrate the effectiveness of our algorithms in practice.

研究の動機と目的

• 大規模な対称行列の全固有スペクトルをサブラインアート時間で近似する課題に対処すること。
• 行列エントリの構造的仮定を活用することで、一般行列では Ω(n²) のクエリ複雑度下限を克服すること。
• 最小限の入力アクセスで正確な固有値近似を達成するサンプリングベースのアルゴリズムを開発すること。
• 行のスパarsity や ℓ2 ノルムに基づく非一様サンプリングを用いて誤差境界を改善し、誤差を ±ϵ√nnz(A) または ±ϵ‖A‖F に低減すること。
• 有界エントリを持つ行列のランダム部分行列における固有値の集中と摂動についての理論的保証を提供すること。

提案手法

• 元の対称行列 A から、一様または非一様サンプリングを用いて Ō(log³n/ϵ³) × Ō(log³n/ϵ³) の主成分部分行列をサンプリングする。
• サンプリングされた部分行列の固有値を n/s の係数でスケーリングし、元の行列 A の固有値を推定する。
• 推定精度を向上させるために、サンプリングされた部分行列の特定のエントリをゼロにすることで分散低減技術を適用する。
• 行のスパarsity や ℓ2 ノルムに比例する非一様サンプリング確率を用いることで、よりタイトな誤差境界を達成する。
• 理論的分析を支援するため、有界エントリを持つ行列に対する新しい固有値集中および摂動境界を確立する。
• 密行列および疎行列の両方に対してアルゴリズムを実装・評価し、一様サンプリングおよびベースライン近似と比較する。

実験結果

リサーチクエスチョン

• RQ1 有界エントリを持つ対称行列のすべての固有値を、ランダムサンプリングを用いてサブラインアート時間で近似できるか？
• RQ2 行のスパarsity や ℓ2 ノルムに基づく非一様サンプリングは、一様サンプリングと比較して固有値近似誤差をどのように改善するか？
• RQ3 有界行列のランダムにサンプリングされた部分行列における固有値の集中について、どのような理論的保証を確立できるか？
• RQ4 部分行列エントリの選択的ゼロ化による分散低減は、固有値推定の精度を向上させられるか？
• RQ5 実際のところ、行列のスパarsity およびフロベニウスノルムに応じて誤差境界はどのようにスケーリングされるか？理論的予測と比較してどうか？

主な発見

• 本アルゴリズムは、‖A‖∞ ≤ 1 を満たす対称行列 A ∈ ℝⁿˣⁿ のすべての固有値を、Ō(log³n/ϵ³) × Ō(log³n/ϵ³) の部分行列サンプルのみを用いて、±ϵn の加法的誤差で近似する。
• 行のスパarsity に基づく非一様サンプリングを用いることで、誤差境界は ±ϵ√nnz(A) に改善され、ここで nnz(A) は行列 A の非ゼロエントリ数を表す。
• 行の ℓ2 ノルムに基づくサンプリングを用いることで、誤差境界はさらに ±ϵ‖A‖F に改善され、ここに ‖A‖F は行列 A のフロベニウスノルムを表す。
• 本手法は、単なる特異値ではなく、全固有スペクトルの集中境界を提供する点で、従来の研究を著しく拡張している。
• 数値シミュレーションにより、本手法が一様サンプリングおよびベースライン近似を上回ることを確認した。特に疎で構造的な行列において顕著な性能向上が得られた。
• 理論的分析では、有界エントリを持つ行列に特化した新しい固有値集中および摂動境界を導入し、改善された誤差保証を可能にした。