[論文レビュー] On the largest eigenvalue of Wishart matrices with identity covariance when n, p and p/n tend to infinity

Noureddine El Karoui|ArXiv.org|Sep 22, 2003

Random Matrices and Applications参考文献 18被引用数 63

ひとこと要約

この論文は、i.i.d. 標準正規分布をとる要素を持つWishart行列の最大固有値の漸近的分布に関するJohnstone (2001) の結果を拡張し、$ n, p \to \infty $ かつ $ p/n \to \infty $ または $ n/p \to \infty $ である場合でも、適切に中心化・スケーリングされた最大固有値が依然としてTracy-Widom分布に従うことを示している。これにより、高次元設定における帰無仮説Wishartモデルの漸近理論が完全に構築される。この結果は、固定された $ k $ に対して最大 $ k $ 個の固有値の同時分布に対しても成り立つ。

ABSTRACT

Let X be a n*p matrix and l_1 the largest eigenvalue of the covariance matrix X^{*}*X. The "null case" where X_{i,j} are independent Normal(0,1) is of particular interest for principal component analysis. For this model, when n, p tend to infinity and n/p tends to gamma in (0,\infty), it was shown in Johnstone (2001) that l_1, properly centered and scaled, converges to the Tracy-Widom law. We show that with the same centering and scaling, the result is true even when p/n or n/p tends to infinity. The derivation uses ideas and techniques quite similar to the ones presented in Johnstone (2001). Following Soshnikov (2002), we also show that the same is true for the joint distribution of the k largest eigenvalues, where k is a fixed integer. Numerical experiments illustrate the fact that the Tracy-Widom approximation is reasonable even when one of the dimension is "small".

研究の動機と目的

• 古典的な $ n/p \to \gamma \in (0,\infty) $ の範囲を超えて、Wishart行列の最大固有値の漸近的分布を $ n/p \to \infty $ および $ p/n \to \infty $ の場合にまで拡張する。
• 一方の次元が他方の次元を圧倒する極端な漸近的状況下でも、Tracy-Widom法則が最大固有値に対して有効であることを確立する。
• 固定された $ k $ に対して最大 $ k $ 個の固有値の同時分布に一般化し、同じ漸近的挙動を確認する。
• $ n $ や $ p $ が小さい場合でも、Tracy-Widom近似が数値的に信頼できるかどうかの証拠を提供する。
• 非標準的なスケーリング極限下での確率的行列理論における摂動展開の誤差制御という理論的課題に取り組む。

提案手法

• Johnstone (2001) の中心化・スケーリング列 $ \mu_{np} $ と $ \sigma_{np} $ を、$ n/p \to \infty $ の状況に適応する。ここで $ \mu_{np} = (\sqrt{n_1} + \sqrt{p_1})^2 $、$ \sigma_{np} = (\sqrt{n_1} + \sqrt{p_1})(1/\sqrt{n_1} + 1/\sqrt{p_1})^{1/3} $ であり、$ n_1 = \max(n,p)-1 $、$ p_1 = \min(n,p) $ とする。
• Soshnikov (2002) の行列式点過程に関する手法を用いて、最大 $ k $ 個の固有値の周辺収束を、それらの同時分布への拡張する。
• 特殊関数（Airy関数、Whittaker関数、放物型円筒関数）の漸近的解析を用いて、関連微分方程式の摂動展開における誤差項を制御する。
• Liouville-Green変換と変数変換を用いて、固有値方程式をAiry方程式や放物型円筒方程式に近い形に変換し、一様な誤差境界を確立する。
• 元のアプローチでは直接的な誤差制御が不可能であったため、Olver (1980) のWhittaker関数のためのフレームワークに切り替えることで、摂動効果に対する明示的な境界を提供する。
• さまざまな $ n, p $ の組み合わせにおいて、$ 10,000 $ 個のi.i.d. $ n \times p $ 行列を用いたモンテカルロシミュレーションにより、Tracy-Widom近似の頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 古典的な $ n/p \to \gamma \in (0,\infty) $ の範囲を超えて、$ n/p \to \infty $ の場合でも、Wishart行列の最大固有値の極限分布がTracy-Widom分布で記述されるか？
• RQ2 $ p/n \to \infty $ の場合、$ n $ が小さいとしても、最大 $ k $ 個の固有値の同時分布がTracy-Widom法則に収束するか？
• RQ3 理論的仮定が $ n $ と $ p $ が大きいことを要求するにもかかわらず、$ p \gg n $ の高次元設定において、Tracy-Widom近似は数値的に信頼できるか？
• RQ4 比 $ p/n $ が発散する場合、固有値分布の漸近的展開における誤差をどのように制御できるか？
• RQ5 特殊関数を用いた摂動理論を用いて、確率的行列理論の理論枠組みを極端な漸近的状況にまで拡張できるか？

主な発見

• i.i.d. $ \mathcal{N}(0,1) $ 要素を持つ $ n \times p $ Wishart行列の最大固有値 $ l_1 $ は、適切に中心化・スケーリングされた場合、$ n/p \to \infty $ であっても、Tracy-Widom分布に収束する。
• 同様の漸近的挙動は $ p/n \to \infty $ の場合にも成り立ち、帰無仮説Wishartモデルにおける最大固有値の漸近的図式が完全に完成する。
• 固定された $ k $ に対して最大 $ k $ 個の固有値の同時分布は、同じ極端な漸近的状況下で、joint Tracy-Widom分布に法則的に収束する。
• 数値実験により、$ n $ や $ p $ が中程度の値であっても、$ n \ll p $ のような状況（例：$ n=10, p=1000 $）においても、Tracy-Widom近似が正確に保たれることを示している。
• 中心化とスケーリングを $ \tilde{\mu}_{np} = \sqrt{n-1/2} + \sqrt{p-1/2} $、$ \tilde{\sigma}_{np} = (\sqrt{n-1/2} + \sqrt{p-1/2})(1/\sqrt{n-1/2} + 1/\sqrt{p-1/2})^{1/3} $ に精緻化することで、有限標本における近似の質が著しく向上することが分かった。
• Olver (1980) のWhittaker関数の摂動理論を適応することで、$ p/n \to \infty $ の発散的状況下でも、漸近的結果を正当化するための一様誤差境界を確立した。