[論文レビュー] Factor selection by permutation

Edgar Dobriban|arXiv (Cornell University)|Oct 2, 2017

Statistical Methods and Inference参考文献 41被引用数 3

ひとこと要約

この論文は、主成分分析（PCA）および要因モデルにおける成分数の選択に広く用いられている、パーミュテーションに基づく手法である平行分析（parallel analysis）の理論的裏付けを初めて提供する。この手法は、ノイズ構造を保持しながら低ランクの信号を特徴ごとのランダムなパーミュテーションによって破壊することにより、大きな成分を一貫して特定するが、小さな成分の検出には失敗する。

ABSTRACT

Researchers often have datasets measuring features $x_{ij}$ of samples, such as test scores of students. In factor analysis and PCA, these features are thought to be influenced by unobserved factors, such as skills. Can we determine how many components affect the data? This is an important problem, because it has a large impact on all downstream data analysis. Consequently, many approaches have been developed to address it. Parallel Analysis is a popular permutation method. It works by randomly scrambling each feature of the data. It selects components if their singular values are larger than those of the permuted data. Despite widespread use in leading textbooks and scientific publications, as well as empirical evidence for its accuracy, it currently has no theoretical justification. In this paper, we show that the parallel analysis permutation method consistently selects the large components in certain high-dimensional factor models. However, it does not select the smaller components. The intuition is that permutations keep the noise invariant, while destroying the low-rank signal. This provides justification for permutation methods in PCA and factor models under some conditions. Our work uncovers drawbacks of permutation methods, and paves the way to improvements.

研究の動機と目的

• 因子分析およびPCAにおける平行分析の広範な使用に対する理論的裏付けを提供すること。
• パーミュテーションに基づく手法（例：平行分析）が、関連する成分を一貫して選択する条件を調査すること。
• 高次元データにおけるPCAおよび因子分析において、パーミュテーション手法が小さな成分を検出できない限界を理解すること。
• なぜパーミュテーションがノイズを保持するが信号を破壊するのかを明らかにし、この手法の実務的成功を説明すること。

提案手法

• 著者たちは、特徴が観測不能な要因に影響を受ける高次元因子モデルを分析する。
• データ行列に対して特徴ごとのランダムなパーミュテーションを適用し、代替データセットを生成する。
• 元のデータの特異値とパーミュテーション後のデータの特異値を比較して、成分の選択を決定する。
• 理論的分析は、パーミュテーション下での特異値の漸近的挙動に注目し、信号とノイズを区別する。
• この手法は、パーミュテーションに対してノイズ構造が不変であるのに対し、信号は破壊されることに依存する。
• 大きな成分が一貫して選択される条件を確立するが、小さな成分についてはそのような条件が成立しない。

実験結果

リサーチクエスチョン

• RQ1 高次元因子モデルにおいて、平行分析が正しい数の大きな成分を一貫して選択する条件は何か？
• RQ2 理論的裏付けが欠如しているにもかかわらず、なぜ平行分析は実務でうまく機能するのか？
• RQ3 PCAおよび因子分析におけるパーミュテーション手法が、小さな成分を検出できない限界は何か？
• RQ4 パーミュテーションがデータ行列の特異値に与える影響は、信号とノイズの観点からどのように解釈できるか？

主な発見

• 特定の条件下では、平行分析は高次元因子モデルにおいて大きな成分を一貫して選択する。
• 小さな成分は、パーミュテーション後のデータによって設定されるしきい値を下回る特異値を示すため、検出に失敗する。
• パーミュテーションはノイズ構造を保持するが信号を破壊するため、この手法の実務的成功が説明できる。
• 理論的裏付けにより、この手法が信号強度に敏感であり、主に支配的成分にのみ有利であることが明らかになった。