[論文レビュー] Surprising Asymptotic Conical Structure in Critical Sample Eigen-Directions

Dan Shen, Haipeng Shen+2 more|arXiv (Cornell University)|Mar 25, 2013

Random Matrices and Applications参考文献 16被引用数 24

ひとこと要約

本稿は、次元と標本サイズおよびスパイクサイズの積の比が非ゼロの定数に収束するとき、高次元スパイク共分散モデルの標本固有ベクトルに驚くべき漸近的円錐構造が存在することを明らかにする。この臨界的状態下で、標本固有ベクトルはその母集団対応物の周囲に確率的円錐に収束し、円錐の角度は極限比によって決定される。これは、高次元漸近的条件下における主成分分析（PCA）における古典的一貫性概念に挑戦する。

ABSTRACT

The aim of this paper is to establish several deep theoretical properties of principal component analysis for multiple-component spike covariance models. Our new results reveal a surprising asymptotic conical structure in critical sample eigendirections under the spike models with distinguishable (or indistinguishable) eigenvalues, when the sample size and/or the number of variables (or dimension) tend to infinity. The consistency of the sample eigenvectors relative to their population counterparts is determined by the ratio between the dimension and the product of the sample size with the spike size. When this ratio converges to a nonzero constant, the sample eigenvector converges to a cone, with a certain angle to its corresponding population eigenvector.In the High Dimension, Low Sample Size case, the angle between the sample eigenvector and its population counterpart converges to a limiting distribution.Several generalizations of the multi-spike covariance models are also explored, and additional theoretical results are presented.

研究の動機と目的

• 次元と標本サイズおよびスパイクサイズの積の比が有限かつ非ゼロの定数に収束するとき、主成分分析（PCA）における標本固有ベクトルの漸近的挙動を調査すること。
• 古典的、ランダム行列理論的、およびHDLSS（高次元で標本サイズが小さい）漸近的状態を超えたPCAの理論的理解を拡張すること。
• 高次元極限において母集団固有値が区別可能または区別不能である場合の、標本固有ベクトルの幾何的構造を分析すること。
• 臨界的漸近的条件下における高次元で標本サイズが小さい（HDLSS）設定下で、主成分スコアおよび固有ベクトルの一貫性特性を確立すること。
• 多スパイク共分散モデルを一般化し、臨界的およびHDLSS状態下での固有ベクトルの角度の極限分布を導出すること。

提案手法

• 固有値が区別可能または漸近的に区別不能である多スパイク共分散モデル下で、標本固有ベクトルの漸近的分布を分析する。
• ランダム行列理論における二次形式のほとんど確実収束を用いて、標本固有ベクトルとそれに対応する母集団固有ベクトルとの間の極限角度を導出する。
• 特に、標本共分散行列の固有値および固有ベクトルの漸近的挙動に着目したランダム行列理論の結果を適用する。
• 固有値比およびトレース統計量のほとんど確実収束を用いて、標本固有ベクトルの円錐的収束を確立する。
• 固有ベクトル行列の分解と標本共分散行列の漸近的性質を用いて、固有ベクトル成分の極限分布を導出する。
• 区別不能な固有値を有する多スパイクモデルに一般化し、対応する母集団固有ベクトルが張る部分空間と標本固有ベクトルとの間の角度を分析する。

実験結果

リサーチクエスチョン

• RQ1 次元と標本サイズおよびスパイクサイズの積の比が有限かつ非ゼロの定数に収束するとき、PCAにおける標本固有ベクトルはどのように変化するか？
• RQ2 古典的またはHDLSS漸近的状態と比較して、臨界的状態下での標本固有ベクトルの幾何的構造はどのように変化するか？
• RQ3 HDLSS設定下で臨界的条件下における、標本固有ベクトルとその母集団対応物との間の角度の極限分布は何か？
• RQ4 HDLSS状態下で固有ベクトル角度がゼロに収束する場合、主成分スコアはどのように漸近的に振る舞うか？
• RQ5 複数の母集団固有値が極限において区別不能である場合、標本固有ベクトルの漸近的挙動はいかなるものか？

主な発見

• $ d/(n\tilde{\nu}_j) \to c_j \in (0,\infty) $ のとき、標本固有ベクトル $ \hat{u}_j $ は母集団固有ベクトル $ u_j $ の周囲に、角度 $ \theta_j = \arccos(1/\sqrt{1 + c_j}) $ の円錐にほとんど確実に収束する。
• 円錐の角度は $ c_j $ に応じて増加するため、$ c_j $ が大きいほど円錐は広がり、固有ベクトルの方向に対する不確実性が高まることを示している。
• HDLSS設定下では、角度がゼロに収束しても、$ \hat{u}_j $ と $ u_j $ の間の角度は非退化した確率的分布に収束する。
• 区別不能な固有値に対しては、標本固有ベクトルは対応する母集団固有ベクトルが張る部分空間の周囲に、角度 $ \arccos(1/\sqrt{1 + c_l}) $ の円錐に収束する。ここで $ c_l $ はそのグループの極限比である。
• HDLSS設定下では、固有ベクトル角度がゼロに収束しても、PCスコアは一貫性を示さない。これは、高次元漸近的条件下でもスコア推定が依然として信頼性がないことを示している。
• 結果は一般の多スパイクモデルに対して頑健であり、固有値が漸近的に区別不能である場合にも拡張可能であり、グループ固有の比 $ c_l $ に従って円錐的構造への収束が制御される。