[論文レビュー] Spiked separable covariance matrices and principal components

Xiucai Ding, Fan Yang|arXiv (Cornell University)|May 29, 2019

Random Matrices and Applications参考文献 59被引用数 13

ひとこと要約

本稿では、空間的および時間的相関行列（$χ̄A$ および $χ̄B$）に、バルクから分離された少数の大きな固有値（スパイク）を含むスパイク付き分離型共分散行列モデルを導入する。本稿は、スパイク付きの固有値および一般化されたスパイク固有ベクトル成分の概収束を最適レートで確立し、非スパイク固有ベクトルの局在化のない性質を証明する。さらに、$χ̄A$ および $χ̄B$ の両方におけるスパイクの役割がスペクトル的アウトライアーを生成することを強調する。

ABSTRACT

We introduce a class of separable sample covariance matrices of the form $\widetilde{\mathcal{Q}}_1:=\widetilde A^{1/2} X \widetilde B X^* \widetilde A^{1/2}.$ Here $\widetilde{A}$ and $\widetilde{B}$ are positive definite matrices whose spectrums consist of bulk spectrums plus several spikes, i.e. larger eigenvalues that are separated from the bulks. Conceptually, we call $\widetilde{\mathcal{Q}}_1$ a \emph{spiked separable covariance matrix model}. On the one hand, this model includes the spiked covariance matrix as a special case with $\widetilde{B}=I$. On the other hand, it allows for more general correlations of datasets. In particular, for spatio-temporal dataset, $\widetilde{A}$ and $\widetilde{B}$ represent the spatial and temporal correlations, respectively. In this paper, we study the outlier eigenvalues and eigenvectors, i.e. the principal components, of the spiked separable covariance model $\widetilde{\mathcal{Q}}_1$. We prove the convergence of the outlier eigenvalues $\widetilde λ_i$ and the generalized components (i.e. $\langle \mathbf v, \widetilde{\mathbfξ}_i angle$ for any deterministic vector $\mathbf v$) of the outlier eigenvectors $\widetilde{\mathbfξ}_i$ with optimal convergence rates. Moreover, we also prove the delocalization of the non-outlier eigenvectors. We state our results in full generality, in the sense that they also hold near the so-called BBP transition and for degenerate outliers. Our results highlight both the similarity and difference between the spiked separable covariance matrix model and the spiked covariance model. In particular, we show that the spikes of both $\widetilde{A}$ and $\widetilde{B}$ will cause outliers of the eigenvalue spectrum, and the eigenvectors can help us to select the outliers that correspond to the spikes of $\widetilde{A}$ (or $\widetilde{B}$).

研究の動機と目的

• 空間的および時間的相関行列にスパイクを含む場合の分離型標本共分散行列のスペクトル的挙動を分析すること。
• 二つのスパイク源を持つ分離型共分散モデルに、BBP相転移理論を拡張すること。
• スパイク付き分離型モデルにおけるアウトライアー固有値および一般化された固有ベクトル成分の最適収束レートを確立すること。
• スパイク付き分離型モデルにおける非アウトライアー固有ベクトルの局在化のない性質を証明すること。
• スパイクが $χ̄A$ および $χ̄B$ の両方において、検出可能な主成分を決定づける役割を明確にすること。

提案手法

• $X$ の独立同一分布成分および決定的正定値行列 $χ̄A, \u03c7̄B$ を持つスパイク付き分離型共分散行列モデル $\u03c7̄\mathcal{Q}_1 = \u03c7̄A^{1/2}X\u03c7̄B X^*\u03c7̄A^{1/2}$ を定式化する。
• $\u03c7̄\mathcal{Q}_1$ の固有値および固有ベクトルを研究するために、局所法およびスペクトル解析技術を適用する。
• リゾルベント法および摂動論を用いて、アウトライアー固有値および固有ベクトル成分の収束レートを導出する。
• 任意の決定的ベクトル $\mathbf{v}$ に対して固有ベクトル収束を分析するために、一般化された成分 $\langle \mathbf{v}, \u03c7̄\bm{\xi}_i \rangle$ を導入する。
• $n^{\varepsilon}$ 型の因子を含む精密な誤差バインディングを用いて、バッチの境界近傍および退化スパイクを含む、完全なパラメータ領域を考察する。
• $\u03c7̄A$ および $χ̄B$ のスパイクの位置がバルクスペクトルに対してどのように配置されているかに応じたケースバイケースの解析を通じて、固有ベクトル相関をバインディングする。

実験結果

リサーチクエスチョン

• RQ1 空間的（$χ̄A$）および時間的（$χ̄B$）相関行列にスパイクが存在する場合、分離型標本共分散行列のアウトライアー固有値にどのような影響を与えるか。
• RQ2 スパイク付き分離型モデルにおけるアウトライアー固有値および一般化された固有ベクトル成分の最適収束レートは何か。
• RQ3 $\u03c7̄A$ および $χ̄B$ にスパイクが存在する場合、標本共分散行列の固有ベクトルはどのように反応するか。また、アウトライアーの原因を特定するために使用できるか。
• RQ4 分離型モデルにおけるBBP転移付近のスペクトル挙動はどのように変化するか。古典的スパイク共分散モデルとはどのように異なるか。
• RQ5 スパイク付き分離型共分散モデルにおける非アウトライアー固有ベクトルは局在化しないか。また、スペクトル全体にわたって一様に証明可能か。

主な発見

• アウトライアー固有値 $\u03c7̄\lambda_i$ は、$χ̄A$ および $χ̄B$ の両方のスパイクによって決定される極限値に概収束し、最適レートで収束する。
• アウトライアー固有ベクトルの一般化された成分 $\langle \mathbf{v}, \u03c7̄\bm{\xi}_i \rangle$ は最適レートで収束し、誤差バインディングは $n^{6\varepsilon}$ 倍の主要項に比例する。
• 標本共分散行列の固有ベクトルを用いることで、スパイクをもたらした行列（$χ̄A$ または $χ̄B$）を特定でき、主成分の原因を特定可能にする。
• 非アウトライアー固有ベクトルは完全に局在化しない。これは、$\ell^2$ ノルムの質量が座標に均等に分散されていることを意味する。
• 結果はBBP転移付近および退化スパイクに対しても一様に成り立ち、古典的スパイクモデルにおける既存の結果を拡張する。
• 解析により、$χ̄A$ および $χ̄B$ の両方のスパイクが、スペクトル的アウトライアーに共同で影響を与えることが明らかになった。これは、古典的モデルとは異なり、スパイクが $χ̄A$ のみに依存するのとは対照的である。