[論文レビュー] Limiting Laws for Divergent Spiked Eigenvalues and Largest Non-spiked Eigenvalue of Sample Covariance Matrices

Tommaso Cai, Xiao Han+1 more|arXiv (Cornell University)|Nov 1, 2017

Random Matrices and Applications参考文献 25被引用数 16

ひとこと要約

本稿は、発散する母集団固有値を有する一般のスプライク共分散モデル下で、標本共分散行列における発散的スプライク固有値の極限正規分布および最大非スプライク固有値のトレーシー＝ウィドム極限を確立する。非スプライク固有値とスプライク固有値の両方に依存する漸近的平均と、母集団固有ベクトルに依存する分散を導出する。その際、依存する2次形式のための新規中央極限定理を主要な技術的道具として用いる。

ABSTRACT

We study the asymptotic distributions of the spiked eigenvalues and the largest nonspiked eigenvalue of the sample covariance matrix under a general covariance matrix model with divergent spiked eigenvalues, while the other eigenvalues are bounded but otherwise arbitrary. The limiting normal distribution for the spiked sample eigenvalues is established. It has distinct features that the asymptotic mean relies on not only the population spikes but also the nonspikes and that the asymptotic variance in general depends on the population eigenvectors. In addition, the limiting Tracy-Widom law for the largest nonspiked sample eigenvalue is obtained. Estimation of the number of spikes and the convergence of the leading eigenvectors are also considered. The results hold even when the number of the spikes diverges. As a key technical tool, we develop a Central Limit Theorem for a type of random quadratic forms where the random vectors and random matrices involved are dependent. This result can be of independent interest.

研究の動機と目的

• 母集団共分散行列に発散する数のスプライク固有値が存在する場合の標本固有値の漸近的分布を特定すること。
• 最大非スプライク標本固有値の極限分布を確立し、トレーシー＝ウィドゥム分布への収束を示すこと。
• 極限分布を導出するために不可欠な、依存する2次形式のための新しい中心極限定理を開発すること。
• スプライク数の推定手順を提供し、主要な標本固有ベクトルの収束を分析すること。
• 固定K仮定を超えて、スプライク数が発散する設定に既存の結果を拡張すること。

提案手法

• 標本共分散行列を $ \bf{S}_n = \frac{1}{n} \mathbb{\Gamma} \mathbf{X} \mathbf{X}^\top \mathbb{\Gamma}^\top $ として形式化する。ここで $ \mathbb{\Gamma} $ は長方形行列であり、$ \mathbf{X} $ は独立同分布の成分を有する。
• 母集団共分散 $ \mathbb{\Sigma} = \mathbb{\Gamma} \mathbb{\Gamma}^\top $ を、$ K $ 個の発散的スプライク固有値と $ p-K $ 個の有界な非スプライク固有値を有するものとしてモデル化する。
• 依存するランダムベクトルおよび行列を含む形の2次形式 $ \mathbf{r}_i^\top \underline{\mathbf{A}}_i^{-1} \mathbf{r}_i $ のための新規中心極限定理を適用する。
• リゾルベント法およびステルティージェス変換技術を用いて、リゾルベントのトレースを分析し、漸近的モーメントを導出する。
• リゾルベント $ \underline{\mathbf{A}}_1^{-1} $ を条件付き期待値および摂動展開の観点から再帰的分解する。
• Employs a recursive decomposition of the resolvent $ \underline{\mathbf{A}}_1^{-1} $ in terms of conditional expectations and perturbation expansions.
• 確率的トレースと極限ステルティージェス変換を結びつけるために、$ \sqrt{n} \left( \frac{1}{n} \mathbb{E} \, \mathrm{tr} \, \mathbf{A}^{-1} + \tilde{m}_\theta(1) \right) \to 0 $ の収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 対応する母集団固有値が発散する場合、スプライク標本固有値の極限分布は何か？
• RQ2 スプライク固有値の漸近的平均および分散は、非スプライク固有値および固有ベクトルにどのように依存するか？
• RQ3 スプライク数が発散するモデル下でも、最大非スプライク標本固有値は依然としてトレーシー＝ウィドゥム分布に従うか？
• RQ4 高次元確率的行列理論に現れる依存する2次形式のための中心極限定理を確立できるか？
• RQ5 発散的スプライク状態下で、主要な標本固有ベクトルは母集団固有ベクトルにどのように収束するか？

主な発見

• スプライク標本固有値は、スプライク固有値と非スプライク固有値の両方に依存する漸近的平均を持つ正規極限に分布収束する。
• スプライク固有値の漸近的分散は母集団固有ベクトルに依存しており、固有ベクトル構造が推定精度に影響することを示唆する。
• 最大非スプライク標本固有値は、スプライク数が発散しても、依然として1次トレーシー＝ウィドゥム分布に分布収束する。
• 依存する2次形式のための新しい中心極限定理が確立され、これは極限分布を導出するために不可欠な技術的貢献であり、より広範な応用可能性を有する。
• スプライク数は固有値の挙動を用いて一貫して推定可能であり、適切な正規化のもとで主要な標本固有ベクトルは母集団固有ベクトルに収束する。
• リゾルベントのトレースの収束速度が $ o(n^{-1/2}) $ であることが示され、これにより漸近的正規性およびトレーシー＝ウィドゥム極限の有効性が保証される。