[論文レビュー] Notes on asymptotics of sample eigenstructure for spiked covariance models with non-Gaussian data

Iain M. Johnstone, Jeha Yang|arXiv (Cornell University)|Oct 24, 2018

Random Matrices and Applications参考文献 16被引用数 4

ひとこと要約

この論文は、非ガウス型データを伴うスプライク共分散モデルにおける標本固有値および固有ベクトルの漸近正規性を確立し、Paul (2007) の結果をBaiとYao (2008) の非ガウス型フレームワークに拡張する。高次元漸近的枠組み下での主要な標本固有構造に関する推論のための厳密な基盤を提供し、固有値および固有ベクトルの射影の極限分布に関する主要な結果を提示。非ガウス性に起因する尖度（四次の積率）を積率に基づく補正項で補正する。

ABSTRACT

These expository notes serve as a reference for an accompanying post Morales-Jimenez et al. [2018]. In the spiked covariance model, we develop results on asymptotic normality of sample leading eigenvalues and certain projections of the corresponding sample eigenvectors. The results parallel those of Paul [2007], but are given using the non-Gaussian model of Bai and Yao [2008]. The results are not new, and citations are given, but proofs are collected and organized as a point of departure for Morales-Jimenez et al. [2018].

研究の動機と目的

• スプライク共分散モデル下での非ガウス型データに対する、Paul (2007) の標本固有構造の漸近正規性に関する結果を拡張すること。
• Morales-Jimenezら (2018) が提示した標本相関行列に関する技術的道具および証明の自己完結的参照を提供すること。
• 非ガウス性、特に四次の積率が、標本固有値および固有ベクトルの極限分布に与える影響を分析すること。
• BaiとYao (2008) の非ガウス型モデル下で、主な標本固有値およびそれに対応する固有ベクトルの射影の漸近正規性を確立すること。
• 標本サイズのスケーリングおよび非ガウス尖度を考慮した極限分布を導出することで、PCAにおける高次元推論を支援すること。

提案手法

• BaiとYao (2008) の非ガウス型スプライク共分散モデルを用い、母共分散行列 Σ が少数の大きな固有値（スプライク）を持ち、残りは有界であるものとする。データは独立同分布のノイズ成分を有する。
• ノイズ成分の極限スペクトル分布を特徴付けるために、Marchenko-Pastur法則を適用し、極端な固有値がバルク端に収束することを示す。
• 微小な確率的摂動の下での固有値および固有ベクトルの漸近展開を導出するために、摂動補題（補題13）を用いる。
• 外れ値の位置を決定するフェーズ遷移関数 ρ(ℓ,γ) = ℓ + γℓ/(ℓ−1) を用いて、標本固有値の極限分布を導出する。
• 四次の積率 Kνjj′ およびテンソルの縮約を用いて、固有値および固有ベクトルの射影の漸近分散における非ガウス尖度の補正を組み込む。
• 固有ベクトル摂動の分解にリソルベント作用素 Hr(A) を用い、固有ベクトルのずれに関する2次誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 非ガウス型四次の積率が、スプライク共分散モデル下での標本固有値の漸近分布にどのように影響を与えるか？
• RQ2 母共分散行列に少数の大きな固有値が存在し、データが非ガウス型である場合、主な標本固有値の極限分布は何か？
• RQ3 非ガウス性下で、標本固有ベクトルを母固有ベクトルに射影した量は、漸近的にどのように振る舞うか？
• RQ4 標準化（つまり、相関行列の使用）は、共分散行列を用いた場合と比較して、PCAの成分の漸近正規性にどの程度影響を与えるか？
• RQ5 BaiとYao (2008) の非ガウス型モデル下で、標本固有構造の漸近正規性は確立可能か。また、ガウス型の場合とどのように異なるか？

主な発見

• スプライクに対応する標本固有値 ℓν > 1 + √γ は、ほぼ確実に ρ(ℓν, γ) > bγ に収束する。ここで ρ(ℓ, γ) = ℓ + γℓ/(ℓ−1) であり、外れ値行動におけるフェーズ遷移を確立する。
• 主な標本固有値の極限分布は漸近的に正規分布に従い、その分散は母固有値 ℓν および標本サイズ比 γ = p/n に依存する。
• 標本固有値の漸近分散には、データの四次の積率に比例する補正項が含まれており、具体的にはテンソル Kνjj′ = ∑k,k′ pν,k pν,k′ κjj′kk′ を通じて表現される。
• 標本固有ベクトルを対応する母固有ベクトルに射影した量は、漸近的に正規分布に従い、その分散は積率テンソルおよび固有値ギャップに依存する。
• 固有ベクトル摂動バウンド（式(83)）は、標本固有ベクトルと母固有ベクトルのずれが摂動に対して漸近的に線形に従い、2次誤差バウンドが ‖B‖² のオーダーに比例することを示している。
• 結果は、非ガウス性、特に過剰尖度が、固有値および固有ベクトルの漸近分布に非ゼロのバイアスを引き起こすことを確認しており、有効な推論のためにはこれを補正する必要がある。