[論文レビュー] Robust high dimensional factor models with applications to statistical machine learning

Jianqing Fan, Kaizheng Wang+2 more|arXiv (Cornell University)|Aug 12, 2018

Sparse and Compressive Sensing Techniques参考文献 89被引用数 12

ひとこと要約

本稿では、主成分分析（PCA）と高度な統計的手法を統合することで、高次元性、重たい裾・尾、強い依存性といった大規模データの課題に対処する、ロバストな高次元因子モデルを提案する。行列摂動理論、ロバスト統計、ランダム射影を活用することで、著者らは要因調整型ロバストモデル選択（FarmSelect）および要因調整型ロバスト多重仮説検定（FarmTest）を構築し、非正規分布および非一様なデータ条件下でも、より優れた推論と推定精度を達成する。

ABSTRACT

Factor models are a class of powerful statistical models that have been widely used to deal with dependent measurements that arise frequently from various applications from genomics and neuroscience to economics and finance. As data are collected at an ever-growing scale, statistical machine learning faces some new challenges: high dimensionality, strong dependence among observed variables, heavy-tailed variables and heterogeneity. High-dimensional robust factor analysis serves as a powerful toolkit to conquer these challenges. This paper gives a selective overview on recent advance on high-dimensional factor models and their applications to statistics including Factor-Adjusted Robust Model selection (FarmSelect) and Factor-Adjusted Robust Multiple testing (FarmTest). We show that classical methods, especially principal component analysis (PCA), can be tailored to many new problems and provide powerful tools for statistical estimation and inference. We highlight PCA and its connections to matrix perturbation theory, robust statistics, random projection, false discovery rate, etc., and illustrate through several applications how insights from these fields yield solutions to modern challenges. We also present far-reaching connections between factor models and popular statistical learning problems, including network analysis and low-rank matrix recovery.

研究の動機と目的

• 現代の大規模データ応用における高次元性、強い依存性、重たい尾分布、および非一様性の課題に対処すること。
• 非正規分布および従属的なデータ構造下でも効果を発揮する、ロバストな統計的推論および推定手法を開発すること。
• 行列摂動理論とロバスト統計を用いて、理論的保証のもとで古典的PCAおよび因子モデルを高次元設定に拡張すること。
• 高次元的かつ非楕円的データ下でのモデル選択および多重仮説検定における因子調整の統一的フレームワークを提供すること。
• 低ランク行列回復やネットワーク解析といった統計的機械学習の広範な問題と因子モデルとの間の関係を確立すること。

提案手法

• 標本共分散行列の上位K個の固有空間を活用して、高次元データにおける低ランク因子構造を推定するための主成分分析（PCA）を用いる。
• 行列摂動理論を適用し、モデル誤指定およびノイズ下での因子および因子負荷の推定誤差の境界を導出する。
• 重たい尾分布および非正規誤差項に対処するためのロバスト統計を統合し、高次元推論における安定性を確保する。
• 大規模な設定下でも統計的精度を維持しつつ計算複雑性を低減するため、ランダム射影技術を用いる。
• 潜在因子を調整するロバストなモデル選択および多重仮説検定の拡張版として、FarmSelectおよびFarmTestを提案し、誤発見率の制御を改善する。
• 理論的裏付けを得るために、拡張技術および対称行列構築を用いて、固有値および固有ベクトルの摂動境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 PCAはどのようにして、高次元的で依存的かつ重たい尾を持つデータにおいて、信頼性の高い推定と推論を可能にするか？
• RQ2 非正規分布および非一様な誤差構造下での因子および因子負荷の推定誤差の理論的境界は何か？
• RQ3 因子調整は、高次元的設定下でのモデル選択および多重仮説検定の性能をどのように向上させるか？
• RQ4 因子モデルは、統計的機械学習における低ランク行列回復およびネットワーク解析とどのような関係にあるか？
• RQ5 行列摂動理論は、モデル不確実性下での因子推定のロバスト性および一貫性を保証するために果たす役割は何か？

主な発見

• 近似的な因子モデル下では、標本共分散行列の上位K固有空間が、因子負荷行列Bの列空間とよく一致しており、PCAによる一貫性のある推定が可能である。
• FarmSelectおよびFarmTestによるロバスト推定は、誤差が重たい尾分布や従属的であっても、誤発見率の制御およびモデル選択の精度が向上することを示している。
• 拡張技術およびスペクトル解析を用いて、固有ベクトル摂動の理論的境界が導出され、推定誤差がノイズレベルおよび固有値ギャップに比例することを示している。
• 信号強度およびノイズレベルに依存する誤差率を伴いながら、高次元漸近的条件下で因子負荷および共通因子の一貫性のある推定が達成される。
• 因子モデルと低ランク行列回復との間の関係が明確化され、因子モデルがロバストな低ランク近似の特殊ケースとして見なせることを示している。
• 実験結果から、因子調整は、個別成分が相関的または重たい尾を持つ場合に特に顕著に、高次元回帰および多重仮説検定における推論を著しく改善することが示された。