[論文レビュー] The bootstrap, covariance matrices and PCA in moderate and high-dimensions

Noureddine El Karoui, Elizabeth Purdom|arXiv (Cornell University)|Aug 2, 2016

Random Matrices and Applications参考文献 33被引用数 12

ひとこと要約

本稿は、p/n が 0 から離れている中程度から高次元の設定において、標本共分散行列の固有値に関する推論におけるブートストラップの信頼性を調査する。ブートストラップは、最大固有値が他の固有値と著しく大きい場合を除き、一般に標本分布を正確に推定できないが、母共分散行列が近似的に低ランクである場合には成功する。

ABSTRACT

We consider the properties of the bootstrap as a tool for inference concerning the eigenvalues of a sample covariance matrix computed from an $n imes p$ data matrix $X$. We focus on the modern framework where $p/n$ is not close to 0 but remains bounded as $n$ and $p$ tend to infinity. Through a mix of numerical and theoretical considerations, we show that the bootstrap is not in general a reliable inferential tool in the setting we consider. However, in the case where the population covariance matrix is well-approximated by a finite rank matrix, the bootstrap performs as it does in finite dimension.

研究の動機と目的

• p/n が無視できない高次元設定における標本共分散行列の固有値に関する推論におけるブートストラップの信頼性を評価すること。
• 固定p設定における理論的保証にもかかわらず、現代の高次元漸近的枠組みではなぜブートストラップが失敗するかを理解すること。
• p と n が増大し、p/n が有界であるような条件下でブートストラップが有効である条件を同定すること。
• ブートストラップの限界と高次元PCAにおける偶発的な成功の理論的および実証的根拠を提供すること。
• 固有値構造（特にランクと分離度）がブートストラップ性能に与える影響を明確にすること。

提案手法

• さまざまな p/n 比および固有値構成の下で、固有値の標本分布推定におけるブートストラップ性能を評価するための広範なモンテカルロシミュレーションを実施する。
• 百分位数型および正規分布に基づくブートストラップ信頼区間を用いて、真の固有値および固有値間のギャップのカバレッジを評価する。
• 主成分分析におけるリーディング成分の存在を検出するため、ギャップ統計量（λ₁ − λ₂）にブートストラップを適用する。
• 理論的分析では、特に母共分散行列が近似的に低ランクである場合の高次元漸近的挙動に注目する。
• シミュレーションからの経験的推定値と比較して、ブートストラップによるバイアスおよび分散の推定精度を評価する。
• ランダム行列理論のツールを用いて、p/n → r ∈ (0,1) の状況における固有値および固有ベクトルの極限的挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 p/n が 0 から離れている場合、標本共分散行列の固有値に関するブートストラップが正確な推論を提供するか？
• RQ2 ブートストラップが高次元PCA設定で成功または失敗する条件は何か？
• RQ3 最大固有値の大きさと分離度は、ブートストラップ性能にどのように影響するか？
• RQ4 ギャップ（第一および第二固有値の差）の標本分布をブートストラップが信頼性を持って推定できるか？
• RQ5 母共分散行列が近似的に低ランクである場合でさえ、高次元においてもブートストラップは有効か？

主な発見

• p/n が 0 から離れている場合、特に固有値の大きさが近い場合には、ブートストラップは一般に固有値の標本分布を正確に推定できない。
• λ₁ が他の固有値と著しく大きくない場合、真の最大固有値のカバレッジが著しく低下し、一部のケース（例：r=0.5, λ₁=1）ではカバレッジが 0.00 にまで下がる。
• 最大固有値が十分に大きい場合（例：λ₁=100√r）、ブートストラップのカバレッジは向上し、シミュレーション全体で 0.90–0.97 の範囲に達する。これは強い信号条件下での性能向上を示している。
• ギャップ統計量（λ₁ − λ₂）に関しては、真のギャップが 0 の場合、ブートストラップ信頼区間のカバレッジが著しく低下し、多くの設定で 0.00 にまで下がる。これは第1種の誤り（Type I error）のリスクが高いかつを示している。
• ブートストラップはバイアスおよび分散の推定において偏りを示すことがある。同様の母集団設定下でも過剰推定および過小推定が発生する。
• ブートストラップは、母共分散行列が近似的に低ランクである、すなわち少数の固有値がスペクトルを支配する場合にのみ信頼性が保証される。これは有限次元のブートストラップ理論と整合する。