[論文レビュー] On the principal components of sample covariance matrices

Alex Bloemendal, Antti Knowles+2 more|arXiv (Cornell University)|Apr 3, 2014

Random Matrices and Applications参考文献 39被引用数 11

ひとこと要約

本稿は、アイデンティティ行列から低ランク摂動によって異なる母共分散行列を持つ標本共分散行列の主成分を分析する。等方的局所Marchenko-Pastur法則、レベル反発、量子一意的混合性を用いて、固有ベクトルの一般化成分に関する鋭い大偏差推定値を導出し、オーバーオーラー固有ベクトルがサブクリティカルスパイクに関する情報を保持することを示している——固有値とは異なり——BBP遷移付近での最適収束速度を提供する。

ABSTRACT

We introduce a class of $M imes M$ sample covariance matrices $\mathcal Q$ which subsumes and generalizes several previous models. The associated population covariance matrix $Σ= \mathbb E \cal Q$ is assumed to differ from the identity by a matrix of bounded rank. All quantities except the rank of $Σ- I_M$ may depend on $M$ in an arbitrary fashion. We investigate the principal components, i.e.\ the top eigenvalues and eigenvectors, of $\mathcal Q$. We derive precise large deviation estimates on the generalized components $\langle \mathbf w, \boldsymbol ξ_i angle$ of the outlier and non-outlier eigenvectors $\boldsymbol ξ_i$. Our results also hold near the so-called BBP transition, where outliers are created or annihilated, and for degenerate or near-degenerate outliers. We believe the obtained rates of convergence to be optimal. In addition, we derive the asymptotic distribution of the generalized components of the non-outlier eigenvectors. A novel observation arising from our results is that, unlike the eigenvalues, the eigenvectors of the principal components contain information about the \emph{subcritical} spikes of $Σ$. The proofs use several results on the eigenvalues and eigenvectors of the uncorrelated matrix $\mathcal Q$, satisfying $\mathbb E \mathcal Q = I_M$, as input: the isotropic local Marchenko-Pastur law established in [9], level repulsion, and quantum unique ergodicity of the eigenvectors. The latter is a special case of a new universality result for the joint eigenvalue-eigenvector distribution.

研究の動機と目的

• 母共分散行列がアイデンティティ行列から低ランク行列によって異なる高次元標本共分散行列における主成分（固有値および固有ベクトル）の挙動を理解すること。
• 任意ランク、おそらく退化またはほぼ退化なスパイクを伴う状況下で、オーバーオーラーおよび非オーバーオーラー固有ベクトルの一般化成分に対する正確な大偏差推定値を導出すること。
• 非オーバーオーラー固有ベクトルがサブクリティカルスパイク（すなわちBBP閾値未満のスパイク）に関する情報を保持すること——固有値の挙動とは対照的である——を確立すること。
• オーバーオーラーが出現または消滅するBBP遷移点付近で、固有ベクトル成分の最適収束速度を証明すること。
• 非相関標本共分散行列における固有値と固有ベクトルの同時分布の普遍性結果を確立すること。

提案手法

• 非相関標本共分散行列における等方的局所Marchenko-Pastur法則に基づく分析であり、これは、バルク固有値および固有ベクトル統計を支配する。
• スペクトル端付近の固有値間隔を制御するために、レベル反発推定値を適用する。
• 非オーバーオーラー固有ベクトルの拡散性および方向的バイアスを記述するための主要な入力として、固有ベクトルの量子一意的混合性を用いる。
• これらの入力を、固定ベクトルとの内積として定義される一般化成分に対する大偏差推定値と組み合わせる。
• 有限ランクおよび任意ランク摂動の両方を含むアイデンティティ行列への摂動に適用可能であり、次元Mに依存するパラメータを許容する。
• 標準的標本共分散行列Qおよび不偏バージョンQ̇の両方へ結果を拡張し、同一の漸近的挙動を示す。

実験結果

リサーチクエスチョン

• RQ1 母共分散行列が任意の低ランク摂動を受ける場合、固有ベクトルの一般化成分はBBP遷移付近でどのように振る舞うか？
• RQ2 オーバーオーラー固有ベクトルが、孤立した固有値を生成しないサブクリティカルスパイク（すなわちBBP閾値未満のスパイク）に関する情報を保持できるか？
• RQ3 退化またはほぼ退化なスパイクを伴う状況下で、固有ベクトル成分の最適収束速度は何か？
• RQ4 非相関標本共分散行列において、固有値と固有ベクトルの同時分布はどのように普遍的であるか？
• RQ5 非オーバーオーラー固有ベクトルの一般化成分の漸近的分布は、バルクおよびエッジ領域でそれぞれどのように振る舞うか？

主な発見

• スパイク強度がBBP閾値付近にある場合、非オーバーオーラー固有ベクトルの一般化成分はスパイクベクトルの方向にバイアスを示し、分散はd_iが1に近いとき(d_i - 1)^{-2} M^{-1}に比例する。
• 非オーバーオーラー固有ベクトルはサブクリティカルスパイク（d_i < 1）に関する情報を保持するが、固有値は保持しない。これは情報含量における根本的な非対称性を示している。
• 固有ベクトル成分の収束速度は最適であり、オーバーオーラーが生成または消滅するBBP遷移点付近でも一様に成り立つ。
• 非オーバーオーラー固有ベクトルの一般化成分の漸近的分布が導出され、スパイク強度および位置に依存する非ガウス的かつ非一様なバイアスを示している。
• 固有値と固有ベクトルの同時分布に関する新しい普遍性結果が確立され、量子一意的混合性はその特別な場合である。
• 結果はQおよびQ̇の両方へ適用可能であり、同一の漸近的挙動を示す。これにより、高次元推論における標準的標本共分散行列の使用が正当化される。