[論文レビュー] On the interval of fluctuation of the singular values of random matrices

Olivier Guédon, Alexander E. Litvak+2 more|arXiv (Cornell University)|Sep 8, 2015

Random Matrices and Applications参考文献 31被引用数 5

ひとこと要約

本稿は、重尾または超指数的エントリを有するランダム行列について、高確率での制限等長性性質（RIP）および共分散行列の近似を確立する。φ(t) = t^p (p > 4) および φ(t) = (1/2)exp(t^α) (α ∈ (0,2]) に対する仮説 H(φ) を用いて尾の減衰を分析することで、列ノルムが √n に集中する場合、A/√n が高確率で m = nψ(n/N) 階のRIPを満たすことを証明し、経験的共分散行列の収束速度を鋭く特定する。これは、既知の結果をより重い尾を持つ分布へと拡張し、超ガウス型・超指数的ケースを一般化するものである。

ABSTRACT

Let $A$ be a matrix whose columns $X_1,\dots, X_N$ are independent random vectors in $\mathbb{R}^n$. Assume that the tails of the 1-dimensional marginals decay as $\mathbb{P}(|\langle X_i, a angle|\geq t)\leq t^{-p}$ uniformly in $a\in S^{n-1}$ and $i\leq N$. Then for $p>4$ we prove that with high probability $A/{\sqrt{n}}$ has the Restricted Isometry Property (RIP) provided that Euclidean norms $|X_i|$ are concentrated around $\sqrt{n}$. We also show that the covariance matrix is well approximated by the empirical covariance matrix and establish corresponding quantitative estimates on the rate of convergence in terms of the ratio $n/N$. Moreover, we obtain sharp bounds for both problems when the decay is of the type $ \exp({-t^{\alpha}})$ with $\alpha \in (0,2]$, extending the known case $\alpha\in[1, 2]$.

研究の動機と目的

• 一般な尾の減衰仮定の下で、重尾エントリを有するランダム行列に対する制限等長性性質（RIP）を確立すること。
• モーメントおよび尾の条件の下で、経験的共分散行列が真の共分散行列へ収束するレートを定量化すること。
• 既知のRIPおよび共分散近似の結果を、超ガウス型および超指数的ケースを超えて、より重い尾を持つ分布へと拡張すること。
• n/N の比および尾パラメータに応じて、RIPが成り立つスパarsityレベル m の鋭い非漸近的境界を提供すること。

提案手法

• φ(t) = tp (p > 4) または φ(t) = (1/2)exp(t^α) (α ∈ (0,2]) であるとき、すべての a ∈ Sn−1 および t > 0 に対して P(|⟨Xi, a⟩| ≥ t) ≤ τ/φ(t) を満たす尾の挙動仮説 H(φ) を用いる。
• ローゼンタール型不等式および集中不等式を用いて、列ノルムの √n からの逸脱を集中関数 P(θ) を通じて制御する。
• 逸脱不等式および和集合不等式を用いて、部分行列 AI の最大特異値の揺らぎを推定し、これにより等長定数 δm を介してRIPに結びつける。
• 順序統計およびモーメント推定を用いて、Am = max_{|I|=m} ||(AI)^T AI - mI|| を境界づける。これは部分行列のスペクトル揺らぎを制御する。
• 対称化および比較技法を用いて、Am に対する下界および上界を導出し、スパarsityレベルの最適性を証明する。
• ノルム集中の結果とスペクトル揺らぎの結果を統合し、m = nψ(n/N) に対して非漸近的RIP保証を導出する。ここで ψ は p や α に依存する。

実験結果

リサーチクエスチョン

• RQ1 どのような尾の減衰条件（例えば、べき則または指数的）のもとで、正規化されたランダム行列 A/√n が高確率で制限等長性性質（RIP）を満たすか？
• RQ2 n/N の比および尾パラメータ p や α に応じて、RIP が成り立つ最大のスパarsityレベル m は何か？
• RQ3 重尾仮定の下で、経験的共分散行列 (1/N)AA^T は真の共分散行列 (1/N)E[AA^T] へどの程度の速度で収束するか？
• RQ4 Am および δm(A/√n) に対する導出された境界は鋭く、n、N、および尾パラメータにどのように依存するか？
• RQ5 超ガウス型および超指数的行列に対する既知のRIP結果を、φ(t) = exp(t^α) （α ∈ (0,2]）を満たすようなより重い尾を持つ分布へと拡張可能か？

主な発見

• p > 4 かつノルム集中の下で、A/√n は高確率で m = nψ(n/N) 階のRIPを満たす。ここで ψ は p および θ に依存する。
• 本稿は、Am = max_{|I|=m} ||(AI)^T AI - mI|| に対する鋭い上界を確立し、高確率で Am ≤ Cp (ln p / p)^(1/2) * (N/m)^(1/p) * (ln(2N/m))^(-1/p) が成り立つことを示す。
• α ∈ (0,2] の場合、Am ≥ c √m (ln(N/m))^(1/α) が確率 1/2 以上で成り立つことを証明し、境界が絶対定数の違いを除き最適であることを示す。
• 列がすべての a ∈ Sn−1 に対して E|⟨Xi, a⟩|^p ≤ 1 を満たすとき、RIP が確率 >1/2 で成り立つ最大の m は、m (N/m)^{2/q} ≤ C n を満たす。ここで q > p > 2 である。
• α ∈ [1,2] の場合、N ≤ exp(cnα/2) の条件下で、P(max_i ||Xi||^2/n - 1 ≥ √2 - 1/2) ≤ 2 exp(-cnα/2) が成り立つ。これは強いノルム集中を示している。
• A が δ < 1 かつ確率 >1/2 で RIPm(δ) を満たすならば、m (ln(N/m))^{2/α} ≤ 4n が成り立つ。これは、スパarsityレベルが定数の違いを除き最適であることを示している。