[論文レビュー] Sketched SVD: Recovering Spectral Features from Compressive Measurements

Anna C. Gilbert, Jae Young Park+1 more|arXiv (Cornell University)|Nov 2, 2012

Sparse and Compressive Sensing Techniques参考文献 28被引用数 55

ひとこと要約

本稿では、ジョンソン＝リンデンストラス変換を用いた圧縮測定を介して、大規模で低ランクなデータ行列の特異値および右特異ベクトルを、分散型かつリソース制約のあるセンサーから効率的に回復するストリーミングアルゴリズム「スケッチドSVD」を提案する。各列あたり m = O(kε⁻²(log(1/ε) + log(1/δ))) の測定値を用いることで、確率的に1−δ以上で (1−ε)¹ᐟ² ≤ σ′ⱼ/σⱼ ≤ (1+ε)¹ᐟ² を満たし、ベクトル誤差も小さくなることが保証され、グラフラプラシアンのような大規模ストリーミングデータのスペクトル解析を可能にする。

ABSTRACT

We consider a streaming data model in which n sensors observe individual streams of data, presented in a turnstile model. Our goal is to analyze the singular value decomposition (SVD) of the matrix of data defined implicitly by the stream of updates. Each column i of the data matrix is given by the stream of updates seen at sensor i. Our approach is to sketch each column of the matrix, forming a "sketch matrix" Y, and then to compute the SVD of the sketch matrix. We show that the singular values and right singular vectors of Y are close to those of X, with small relative error. We also believe that this bound is of independent interest in non-streaming and non-distributed data collection settings. Assuming that the data matrix X is of size Nxn, then with m linear measurements of each column of X, we obtain a smaller matrix Y with dimensions mxn. If m = O(k ε^{-2} (log(1/ε) + log(1/δ)), where k denotes the rank of X, then with probability at least 1-δ, the singular values σ'_j of Y satisfy the following relative error result (1-ε)^(1/2)<= σ'_j/σ_j <= (1 + ε)^(1/2) as compared to the singular values σ_j of the original matrix X. Furthermore, the right singular vectors v'_j of Y satisfy ||v_j-v_j'||_2 <= min(sqrt{2}, (ε\sqrt{1+ε})/(\sqrt{1-ε}) max_{i eq j} (\sqrt{2}σ_iσ_j)/(min_{c\in[-1,1]}(|σ^2_i-σ^2_j(1+cε)|))) as compared to the right singular vectors v_j of X. We apply this result to obtain a streaming graph algorithm to approximate the eigenvalues and eigenvectors of the graph Laplacian in the case where the graph has low rank (many connected components).

研究の動機と目的

• 大規模で分散型またはストリーミングなデータにおいて、完全な保存が不可能な状況で、スペクトル解析（SVD／固有値分解）を実行する課題に対処すること。
• センサーが中央プロセッサに送信する前に局所的にデータを圧縮できる、通信効率的で線形的かつ非適応的なスケッチ方式を設計すること。
• 元のデータを保存または送信せずに、データ行列 X の特異値および右特異ベクトルを正確に回復できることを可能にすること。
• スケッチフレームワーク下で、特異値の相対誤差および特異ベクトルの角誤差に関する理論的保証を提供すること。
• 特に、高々接続成分の多いネットワークのような低ランクグラフにおいて、グラフラプラシアンの固有値および固有ベクトルの近似に、この手法を適用すること。

提案手法

• 分布的ジョンソン＝リンデンストラス（JL）性質を満たす分布から抽出された、m×N のランダムな測定行列 Φ を用いて、データ行列 X の各列をスケッチする。
• 各列 yⱼ がデータベクトル xⱼ の圧縮版であるスケッチ行列 Y = ΦX を維持し、ターンスタイルストリーミングモデルにおいて列挙的に更新する。
• スケッチ行列 Y = UΣ'Vᵀ のSVDを計算し、元の行列 X の特異値 σ′ⱼ および右特異ベクトル v′ⱼ の推定値を得る。
• 測定の集中性およびJL埋め込み理論を活用して、特異値の相対誤差および真の右特異ベクトルと推定されたベクトル間の ℓ² 距離を制限する。
• グラフデータにこのフレームワークを適用する際、グラフ G の接続行列 X をデータ行列としてモデル化し、グラフラプラシアン L_G のスペクトル近似を可能にする。
• Y の二乗特異値を用いて L_G の固有値 λ′ⱼ を推定し、Y の右特異ベクトルを用いて L_G の固有ベクトル v′ⱼ を推定する。

実験結果

リサーチクエスチョン

• RQ1 各データ列に対して少数の圧縮線形測定値のみを用いて、元のデータを保存せずに大規模で低ランクなデータ行列のスペクトル特徴（特異値および右特異ベクトル）を回復できるか。
• RQ2 特異値および右特異ベクトルの推定値が、確率的に高い割合で元の行列 X のそれらに近くなるようにするために、各列あたり必要な最小の測定数 m は何か。
• RQ3 推定された特異値および特異ベクトルの誤差は、特異値ギャップおよび歪みパラメータ ε にどのように依存するか。
• RQ4 このスケッチフレームワークは、ストリーミンググラフデータに効果的に適用可能か。特に、グラフラプラシアンの固有値および固有ベクトルの近似に有効か。
• RQ5 グラフが低ランク（例：多数の連結成分を有する）である場合、推定されたグラフラプラシアンの固有値および固有ベクトルに対する理論的誤差境界は何か。

主な発見

• 各列あたり m = O(kε⁻²(log(1/ε) + log(1/δ))) の測定値を用いることで、スケッチ行列 Y の特異値 σ′ⱼ は確率的に1−δ以上で (1−ε)¹ᐟ² ≤ σ′ⱼ/σⱼ ≤ (1+ε)¹ᐟ² を満たす。
• X の真の右特異ベクトル vⱼ と Y の推定ベクトル v′ⱼ の間の ℓ² 距離は、min{√2, (ε√(1+ε)/√(1−ε)) × maxᵢ≠ⱼ (√2σᵢσⱼ / min_{c∈[−1,1]} |σ²ᵢ − σ²ⱼ(1+cε)|)} で上限が与えられる。
• ストリーミンググラフデータに対して、本手法はグラフラプラシアン L_G の固有値 λ′ⱼ を 1−ε ≤ λ′ⱼ/λⱼ ≤ 1+ε と近似する。
• L_G の固有ベクトル v′ⱼ は、ℓ² 距離が min{√2, (ε√(1+ε)/√(1−ε)) × maxᵢ≠ⱼ (√2λᵢ¹ᐟ²λⱼ¹ᐟ² / min_{c∈[−1,1]} |λᵢ − λⱼ(1+cε)|)} で上限が与えられる。
• 特に、多くの連結成分を有する低ランクグラフに対して、本フレームワークは顕著に効果的であり、スケッチサイズ m が隣接行列のサイズに比べて著しく小さくなる。
• 本手法はターンスタイルストリーミングモデルにおいて、効率的かつ逐次的な更新を可能とし、通信およびストレージのオーバーヘッドを最小限に抑えてリアルタイムのスペクトル解析を実現する。