[논문 리뷰] Factor selection by permutation

Edgar Dobriban|arXiv (Cornell University)|2017. 10. 02.

Statistical Methods and Inference참고 문헌 41인용 수 3

한 줄 요약

이 논문은 주로 요소 분석과 주성분 분석(PCA)에서 성분 수를 선택하는 데 널리 사용되는 순열 기반 방법인 병렬 분석에 대한 이론적 근거를 처음으로 제시한다. 이는 낮은 질서의 신호를 파괴하면서 노이즈 구조를 유지하는 특징별 랜덤 순열을 통해 큰 성분을 일관되게 식별함을 보여주지만, 작은 성분을 탐지하지 못함을 밝힌다.

ABSTRACT

Researchers often have datasets measuring features $x_{ij}$ of samples, such as test scores of students. In factor analysis and PCA, these features are thought to be influenced by unobserved factors, such as skills. Can we determine how many components affect the data? This is an important problem, because it has a large impact on all downstream data analysis. Consequently, many approaches have been developed to address it. Parallel Analysis is a popular permutation method. It works by randomly scrambling each feature of the data. It selects components if their singular values are larger than those of the permuted data. Despite widespread use in leading textbooks and scientific publications, as well as empirical evidence for its accuracy, it currently has no theoretical justification. In this paper, we show that the parallel analysis permutation method consistently selects the large components in certain high-dimensional factor models. However, it does not select the smaller components. The intuition is that permutations keep the noise invariant, while destroying the low-rank signal. This provides justification for permutation methods in PCA and factor models under some conditions. Our work uncovers drawbacks of permutation methods, and paves the way to improvements.

연구 동기 및 목표

• 요소 분석과 주성분 분석에서 널리 사용되는 병렬 분석의 이론적 근거를 제공하는 것.
• 순열 기반 방법인 병렬 분석과 같은 방법이 관련 성분을 일관되게 선택할 수 있는 조건을 조사하는 것.
• 고차원 데이터에서 작은 성분, 저질서 성분을 탐지하는 데서 순열 방법의 한계를 이해하는 것.
• 왜 순열이 노이즈는 유지하면서 신호를 파괴하는지 설명하여, 이 방법의 경험적 성공을 명확히 하는 것.

제안 방법

• 저자들은 특징이 관측되지 않는 요인에 영향을 받는 고차원 요인 모델을 분석한다.
• 데이터 행렬에 특징별 랜덤 순열을 적용하여 시뮬레이션 데이터셋을 생성한다.
• 원본 데이터의 특이값을 순열 처리된 데이터의 특이값과 비교하여 성분 선택 기준을 설정한다.
• 이론적 분석은 순열에 따른 특이값의 渐近적 행동에 중점을 두며, 신호와 노이즈를 구분한다.
• 이 방법은 노이즈 구조는 순열에 대해 불변이지만, 신호는 파괴된다는 점에 기반한다.
• 큰 성분은 일관되게 선택될 수 있는 조건을 규명하지만, 작은 성분은 그렇지 않다.

실험 결과

연구 질문

• RQ1 고차원 요인 모델에서 병렬 분석이 큰 성분의 수를 일관되게 올바르게 선택하는 조건은 무엇인가?
• RQ2 이론적 근거가 부족한 데도 불구하고 병렬 분석이 실무에서 잘 작동하는 이유는 무엇인가?
• RQ3 PCA와 요인 분석에서 작은 성분을 탐지하는 데서 순열 방법의 한계는 무엇인가?
• RQ4 특성별 순열이 데이터 행렬의 특이값에 미치는 영향은 신호와 노이즈와 어떻게 관련이 있는가?

주요 결과

• 일부 조건 하에서 병렬 분석은 고차원 요인 모델에서 큰 성분을 일관되게 선택한다.
• 작은 성분은 순열 처리된 데이터에 의해 설정된 임계값 이하의 특이값을 가지므로 탐지하지 못한다.
• 순열은 노이즈 구조를 유지하면서 저질서 성분을 파괴하므로, 이는 방법의 경험적 성공을 설명한다.
• 이론적 근거는 이 방법이 신호 강도에 민감하며, 오직 주요 성분들만 선별함을 드러낸다.