[論文レビュー] Spectrum estimation for large dimensional covariance matrices using random matrix theory

Noureddine El Karoui|ArXiv.org|Sep 14, 2006

Random Matrices and Applications参考文献 21被引用数 11

ひとこと要約

本稿では、ランダム行列理論を用いて、大規模な次元の共分散行列に対するスペクトル推定法を提案する。特に、マーチェンコ＝パストゥル方程式を活用し、非線形に標本固有値を圧縮することで、高次元設定におけるバイアスを是正する。問題を凸最適化として定式化し、極限スペクトル分布を推定することで、$ n $ と $ p $ が同程度の大きさであっても一貫性があり、精度の高い固有値推定が得られる。

ABSTRACT

Estimating the eigenvalues of a population covariance matrix from a sample covariance matrix is a problem of fundamental importance in multivariate statistics; the eigenvalues of covariance matrices play a key role in many widely techniques, in particular in Principal Component Analysis (PCA). In many modern data analysis problems, statisticians are faced with large datasets where the sample size, n, is of the same order of magnitude as the number of variables p. Random matrix theory predicts that in this context, the eigenvalues of the sample covariance matrix are not good estimators of the eigenvalues of the population covariance. We propose to use a fundamental result in random matrix theory, the Marcenko-Pastur equation, to better estimate the eigenvalues of large dimensional covariance matrices. The Marcenko-Pastur equation holds in very wide generality and under weak assumptions. The estimator we obtain can be thought of as "shrinking" in a non linear fashion the eigenvalues of the sample covariance matrix to estimate the population eigenvalue. Inspired by ideas of random matrix theory, we also suggest a change of point of view when thinking about estimation of high-dimensional vectors: we do not try to estimate directly the vectors but rather a probability measure that describes them. We think this is a theoretically more fruitful way to think statistically about these problems. Our estimator gives fast and good or very good results in extended simulations. Our algorithmic approach is based on convex optimization. We also show that the proposed estimator is consistent.

研究の動機と目的

• 標本サイズ $ n $ と次元 $ p $ がともに大きく、かつ同程度の大きさである場合に、標本固有値が母集団固有値の推定として一貫性を欠く問題に対処すること。
• 高次元設定において、理論的裏付けがあり、一貫性のある母集団スペクトル分布の推定器を開発すること。
• 固有値そのものを直接推定するのではなく、固有値分布を記述する確率測度を推定するという推定パラダイムへの転換。
• 凸最適化に基づく高速で計算可能かつ古典的手法を凌駕するシミュレーション性能を示すアルゴリズムの提供。

提案手法

• 標本共分散行列の極限スペクトル分布をモデル化するために、マーチェンコ＝パストゥル方程式を基本的制約として用いる。
• 凸最適化を用いて、マーチェンコ＝パストゥル制約の下で、実測固有値に最も適合する母集団スペクトル測度 $ H_{\infty} $ を推定する。
• 数値的安定性を向上させるために、最大標本固有値 $ l_1 $ を用いて固有値をスケーリングする。
• 効率的な $ H_{\infty} $ の表現のため、二進区間上の点質量および区分的定数／線形密度からなる確率測度の辞書を用いる。
• 二段階のアプローチを実装：まず $ H_{\infty}(l_1 x) $ を解き、その後にスケーリングして $ H_{\infty}(x) $ を回復する。
• マーチェンコ＝パストゥル方程式を数値的に強制するために、虚部が小さい離散点 $ z_j $ における複素ステルジス変換を用いる。

実験結果

リサーチクエスチョン

• RQ1 $ n $ と $ p $ がともに大きく、かつ同程度の大きさである場合に、大規模な母集団共分散行列の固有値を一貫して推定する方法は何か？
• RQ2 高次元設定における標本固有値の極限的挙動は何か？ また、古典的漸近論とはどのように異なるか？
• RQ3 ランダム行列理論を用いて、極端な標本固有値のバイアスを是正することで、古典的手法を凌駆するPCAの改善は可能か？
• RQ4 高次元推定問題を、個々の固有値の推定ではなく、スペクトル測度の推定という問題に再定式化することは可能か？
• RQ5 凸最適化をどのように用いることで、マーチェンコ＝パストゥル制約の下で極限スペクトル分布を効率的かつ正確に推定できるか？

主な発見

• 提案手法は、$ n \to \infty $、$ p \to \infty $ かつ $ p/n \to \gamma \in (0, \infty) $ の漸近的枠組みで一貫性を示す。
• シミュレーションでは古典的手法に比べて顕著な改善が得られ、古典的手法が失敗する状況でも真の構造を検出可能である。
• 母共分散行列 $ \Sigma_p = I_p $ の場合、最大標本固有値 $ l_1 $ は上向きにバイアスがかかるが、$ (1 + \sqrt{\gamma})^2 $ に収束し、本手法により効果的に是正される。
• 複素ステルジス変換の評価に100～200点を用いることで、10～60秒の短時間で高速かつ正確な結果が得られる。
• 標準PCAに比べ、最大固有値の過大推定と最小固有値の過小推定を軽減する。
• 二進区間と区分的定数／線形密度を用いた辞書の選択により、計算コストを過度に増大させることなく、精度が向上する。