[論文レビュー] On the Power of Truncated SVD for General High-rank Matrix Estimation Problems

Simon S. Du, Yining Wang+1 more|arXiv (Cornell University)|Feb 22, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用数 10

ひとこと要約

本稿は、高ランクの正定値行列 $\mathbf{A}$ のスペクトルノルムに近い推定値 $\widehat{\mathbf{A}}$ の切り捨て特異値分解（SVD）が、乗法的 Frobenius ノルム近似をもたらすことを示しており、低ランク構造やスペクトルギャップの仮定を必要とせずに、高ランク行列補完、ノイズ除去、共分散推定において最適なサンプル複雑度を達成できることを示している。

ABSTRACT

We show that given an estimate $\widehat{A}$ that is close to a general high-rank positive semi-definite (PSD) matrix $A$ in spectral norm (i.e., $\|\widehat{A}-A\|_2 \leq δ$), the simple truncated SVD of $\widehat{A}$ produces a multiplicative approximation of $A$ in Frobenius norm. This observation leads to many interesting results on general high-rank matrix estimation problems, which we briefly summarize below ($A$ is an $n imes n$ high-rank PSD matrix and $A_k$ is the best rank-$k$ approximation of $A$): (1) High-rank matrix completion: By observing $Ω(\frac{n\max\{ε^{-4},k^2\}μ_0^2\|A\|_F^2\log n}{σ_{k+1}(A)^2})$ elements of $A$ where $σ_{k+1}\left(A ight)$ is the $\left(k+1 ight)$-th singular value of $A$ and $μ_0$ is the incoherence, the truncated SVD on a zero-filled matrix satisfies $\|\widehat{A}_k-A\|_F \leq (1+O(ε))\|A-A_k\|_F$ with high probability. (2)High-rank matrix de-noising: Let $\widehat{A}=A+E$ where $E$ is a Gaussian random noise matrix with zero mean and $ν^2/n$ variance on each entry. Then the truncated SVD of $\widehat{A}$ satisfies $\|\widehat{A}_k-A\|_F \leq (1+O(\sqrt{ν/σ_{k+1}(A)}))\|A-A_k\|_F + O(\sqrt{k}ν)$. (3) Low-rank Estimation of high-dimensional covariance: Given $N$ i.i.d.~samples $X_1,\cdots,X_N\sim\mathcal N_n(0,A)$, can we estimate $A$ with a relative-error Frobenius norm bound? We show that if $N = Ω\left(n\max\{ε^{-4},k^2\}γ_k(A)^2\log N ight)$ for $γ_k(A)=σ_1(A)/σ_{k+1}(A)$, then $\|\widehat{A}_k-A\|_F \leq (1+O(ε))\|A-A_k\|_F$ with high probability, where $\widehat{A}=\frac{1}{N}\sum_{i=1}^N{X_iX_i^ op}$ is the sample covariance.

研究の動機と目的

• スペクトルノルム近似の限界を是正すること、特にランク拡大のための Frobenius ノルム誤差が大きくなること。
• 高ランクでさえも、粗いスペクトルノルム推定値 $\widehat{\mathbf{A}}$ の切り捨て SVD が $\mathbf{A}$ に対して乗法的 Frobenius 近似をもたらすことを示すこと。
• スペクトルギャップに依存しない、高ランク行列補完およびノイズ除去のためのサンプル複雑度の境界を確立することにより、先行研究を改善すること。
• $N \approx n$ 個の i.i.d. サンプルで十分であることを示すことにより、低次元共分散推定を改善すること。これは古典的な $N \approx n^2$ の要件を上回る。

提案手法

• スペクトルノルムで $\|\widehat{\mathbf{A}} - \mathbf{A}\|_2 \leq \delta$ を満たす行列 $\widehat{\mathbf{A}}$ に切り捨て SVD を適用し、低ランク近似 $\widehat{\mathbf{A}}_k$ を得る。
• 乗法的 Frobenius 近似である $\|\widehat{\mathbf{A}}_k - \mathbf{A}\|_F \leq C(k,\delta,\sigma_{k+1}(\mathbf{A})) \|\mathbf{A} - \mathbf{A}_k\|_F$ を証明する。
• Weyl の不等式とスペクトル分解を用いて、$\widehat{\mathbf{A}}$ と $\mathbf{A}$ 間の誤差を、$\widehat{\mathbf{A}}$ が $\mathbf{A}$ にスペクトルノルムで近いことを利用してバウンディングする。
• 行列補完におけるサンプル複雑度の境界を保証するため、$n\|\mathbf{A}\|_{\max} \leq \mu_0\|\mathbf{A}\|_F$ のスパイクネス条件を分析する。
• 多項式スペクトル減衰の下でのミニマックスレートを確立し、$\beta > 1/2$ の場合に $R_1 \asymp (n/N)^{(2\beta-1)/(2\beta)}$ および $R_2 \asymp \nu^{2(2\beta-1)/(2\beta)}$ を予想する。
• 真の特異値 $\sigma_{k+1}(\mathbf{A})$ が未知の場合に最適な切り捨てランク $k$ を推定するために、ブートストラップまたはパラメトリック固有値減衰モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 スペクトルノルムに近い推定値 $\widehat{\mathbf{A}}$ の切り捨て SVD が、一般の高ランク PSD 行列 $\mathbf{A}$ に対して乗法的 Frobenius 近似をもたらすか。
• RQ2 スペクトルギャップに依存しないサンプル複雑度で、高ランク行列補完が Frobenius ノルムで $(1+\varepsilon)$ 相対誤差を達成できるか。
• RQ3 真の行列が正確に低ランクであると仮定せず、ノイズのある観測値がスペクトルノルムで近いという条件のみで、行列ノイズ除去が可能か。
• RQ4 低次元共分散推定において、$N \approx n$ サンプルで十分に、Frobenius ノルムの相対誤差を得られるか。これは古典的な $N \approx n^2$ を上回る。
• RQ5 多項式スペクトル減衰（$\sigma_j \propto j^{-\beta}$）の下で、行列補完およびノイズ除去のミニマックスレートは何か。

主な発見

• スペクトルノルム推定値 $\widehat{\mathbf{A}}$（$\|\widehat{\mathbf{A}} - \mathbf{A}\|_2 \leq \delta$）の切り捨て SVD は、乗法的 Frobenius 近似をもたらす：$\|\widehat{\mathbf{A}}_k - \mathbf{A}\|_F \leq C(k,\delta,\sigma_{k+1}(\mathbf{A})) \|\mathbf{A} - \mathbf{A}_k\|_F$。
• スペクトルギャップに依存しないサンプル複雑度で、$\mu_0$-スパイクネス条件の下で、切り捨て SVD 推定器は Frobenius ノルムで $(1+O(\varepsilon))$ 相対誤差を達成する。
• 高ランク行列ノイズ除去において、真の行列 $\mathbf{A}$ が正確に低ランクである必要がなく、Frobenius ノルム誤差で $\mathbf{A}$ を回復できる。
• 低次元共分散推定において、$N \approx n$ 個の i.i.d. サンプルで、母共分散 $\mathbf{A}$ を Frobenius ノルムの相対誤差で近似可能であり、古典的な $N \approx n^2$ を上回る。
• 本稿では、多項式スペクトル減衰（$\sigma_j \propto j^{-\beta}$）の下で、行列補完およびノイズ除去のミニマックスレートが $R_1 \asymp (n/N)^{(2\beta-1)/(2\beta)}$ および $R_2 \asymp \nu^{2(2\beta-1)/(2\beta)}$ であると予想している（$\beta > 1/2$）。
• 本手法は核ノルム最小化を回避し、Achlioptas と McSherry (2007) や Hardt と Wootters (2014) の結果を含む先行研究よりも優れたサンプル複雑度を達成する。