[論文レビュー] Sampling from large matrices: an approach through geometric functional analysis

Mark Rudelson, Roman Vershynin|arXiv (Cornell University)|Mar 21, 2005

Sparse and Compressive Sensing TechniquesEngineering被引用数 21

ひとこと要約

本稿では、乱数による部分行列を用いて大規模行列を近似するサンプリングベースの手法を提示する。数値ランク $ r $ を用いると、$ O(r\log r) $ の最適なサンプル複雑度を達成する。このサイズのランダム部分行列が、高い確率で元の行列をスペクトルノルムで近似できることを証明し、近似線形時間・空間計算量で低ランク近似およびSVD計算を可能にする。

ABSTRACT

We study random submatrices of a large matrix A. We show how to approximately compute A from its random submatrix of the smallest possible size O(r log r) with a small error in the spectral norm, where r = ||A||_F^2 / ||A||_2^2 is the numerical rank of A. The numerical rank is always bounded by, and is a stable relaxation of, the rank of A. This yields an asymptotically optimal guarantee in an algorithm for computing low-rank approximations of A. We also prove asymptotically optimal estimates on the spectral norm and the cut-norm of random submatrices of A. The result for the cut-norm yields a slight improvement on the best known sample complexity for an approximation algorithm for MAX-2CSP problems. We use methods of Probability in Banach spaces, in particular the law of large numbers for operator-valued random variables.

研究の動機と目的

• 大規模行列を小さなランダム部分行列のみを用いて近似する手法を開発し、サンプル複雑度を最小限に抑える。
• ランダム部分行列のスペクトルノルムおよびカットノルムに対する漸近的最適な境界を確立する。
• 外部に保存された行列に対して、メモリおよび時間使用量を最小限に抑えた1パスまたは2パスの低ランク近似およびSVDアルゴリズムを可能にする。
• カットノルム推定を用いてMAX-2CSP近似アルゴリズムのサンプル複雑度を改善する。
• 幾何的関数解析およびバナッハ空間における確率論的道具を用いて理論的保証を提供する。

提案手法

• 行列 $ A $ から、行の $ \ell^2 $ ノルムの二乗に比例する確率で、復元抽出により $ d = O\left(\frac{r}{\varepsilon^4\delta}\log\frac{r}{\varepsilon^4\delta}\right) $ 行をサンプリングする。
• サンプルされた部分行列 $ \tilde{A} $ の特異値分解（SVD）を用いて、その上位 $ k $ 個の左特異ベクトルに沿った射影 $ P_k $ を計算する。
• 元の行列 $ A $ を $ AP_k $ で近似することで、スペクトルノルムにおける低ランク近似が得られる。
• 演算子値確率変数に対する大数の法則を用いて、近似誤差のスペクトルノルムを制御する。
• 集中不等式およびシンメトライゼーション技術（例：ラデマッハおよびガウス過程）を用いて、ランダム部分行列の期待演算子ノルムをバウンドする。
• 幾何的関数解析の道具を活用し、特異値の $ \ell^2 $ ノルムおよび $ \ell^1 $ ノルムを用いて、数値ランク $ r = \|A\|_F^2 / \|A\|_2^2 $ に対する境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ランダム部分行列を用いて大規模行列 $ A $ をスペクトルノルムで近似するための最小サンプルサイズは何か？
• RQ2 ランダム部分行列に基づく低ランク近似のスペクトルノルム誤差は、高い確率でバウンド可能か？
• RQ3 数値ランク $ r = \|A\|_F^2 / \|A\|_2^2 $ は、行列近似の最適サンプル複雑度とどのように関係するか？
• RQ4 ランダム部分行列のスペクトルノルムおよびカットノルムに対する漸近的最適な境界は何か？
• RQ5 カットノルム推定は、MAX-2CSP近似アルゴリズムのサンプル複雑度を改善できるか？

主な発見

• 本稿では、$ O(r\log r) $ のサンプリングが、数値ランク $ r $ を用いて、高い確率で元の行列 $ A $ をスペクトルノルムで近似可能であることを確立した。
• 近似誤差は、$ \|A - AP_k\|_2 \leq \sigma_{k+1}(A) + \varepsilon\|A\|_2 $ を高い確率で満たし、ここで $ \varepsilon $ は加法的誤差を制御する。
• 本手法により、$ O(n + m) $ のメモリおよび時間計算量（$ r $ および $ k $ に関して多項式的）で、1パスまたは2パスの低ランク近似およびSVDアルゴリズムが可能になる。
• シンメトライゼーションおよび集中を用いて、ランダム部分行列のスペクトルノルムがバウンドされ、適切なサンプリングのもとで $ \mathbb{E}\|\tilde{A}\|_2 \leq C\|A\|_2\sqrt{\log r} $ が得られる。
• 同様の技術を用いてランダム部分行列のカットノルムがバウンドされ、MAX-2CSP近似においてサンプル複雑度がわずかに改善される。
• 解析により、誤差演算子の期待スペクトルノルムが $ \sqrt{\log q} \cdot \|A\|_{(n/q)} + \sqrt{q/n} $ で制御されることが示された。ここで $ q $ はサンプルされた行数である。