[논문 리뷰] How many variables should be entered in a principal component regression equation

Ji Xu, Daniel Hsu|arXiv (Cornell University)|2019. 06. 04.

Statistical Methods and Inference참고 문헌 3인용 수 6

한 줄 요약

이 논문은 특징이 분산으로 내림차순 정렬된 상관관계가 없는 가우시안 분포를 따르는 고차원 설정에서 주성분 회귀(PCR)를 분석한다. 예측 오차가 특징 수 $ p $ 가 증가함에 따라 '더블 디센트'(double descent) 곡선을 보임을 보여주며, 이는 $ p > n $ 일 때조차도 모델 복잡도와 일반화 오차 사이에 비단조화적 관계가 존재함을 시사한다.

ABSTRACT

We study least squares linear regression over $N$ uncorrelated Gaussian features that are selected in order of decreasing variance. When the number of selected features $p$ is at most the sample size $n$, the estimator under consideration coincides with the principal component regression estimator; when $p>n$, the estimator is the least $\ell_2$ norm solution over the selected features. We give an average-case analysis of the out-of-sample prediction error as $p,n,N o \infty$ with $p/N o \alpha$ and $n/N o \beta$, for some constants $\alpha \in [0,1]$ and $\beta \in (0,1)$. In this average-case setting, the prediction error exhibits a `double descent' shape as a function of $p$.

연구 동기 및 목표

• 주성분 회귀에서 선택된 특징 수 $ p $ 가 고차원 설정에서 외부 샘플 예측 오차에 미치는 영향을 이해하기 위해.
• 전통적인 PCR 가정을 초월하여 $ p > n $ 일 때 예측 오차의 행동을 분석하기 위해.
• 특징 수 $ p $, 표본 수 $ n $, 전체 샘플 수 $ N $ 가 모두 무한대에 수렴할 때 평균적인 예측 오차를 $ p/N \to \alpha $ 및 $ n/N \to \beta $ 조건 하에 특성화하기 위해.
• 무작위 특징 선택과 가우시안 설계 하에서 PCR에서 '더블 디센트' 현상의 존재성과 성격을 조사하기 위해.

제안 방법

• 특징 수 $ N $ 개의 i.i.d. 상관관계가 없는 가우시안 특징을 사용하여 회귀 문제를 모델링하며, 분산의 내림차순으로 정렬된다.
• 첫 $ p $ 개 특징에 대한 최소제곱 회귀를 고려하며, $ p \leq n $ 일 경우 PCR 추정기로, $ p > n $ 일 경우 최소 $ \ell_2 $ 노름 해로 간주한다.
• 전체 샘플 수 $ N \to \infty $ 의 점근적 분석을 수행하며, $ p/N \to \alpha \in [0,1] $ 및 $ n/N \to \beta \in (0,1) $ 이며 비율이 고정되어 있음을 가정한다.
• 무작위 행렬 이론과 점근적 통계 분석을 사용하여 $ p $ 의 함수로 평균 예측 오차를 유도한다.
• 예측 오차 곡선을 $ p $ 의 함수로 특성화하며, $ p \approx n $ 에서 최솟값을 가지며 $ n $ 초과 시 두 번째 하강이 나타나는 비단조화적 형태임을 보여준다.
• 특징 순서가 있는 고차원 선형 모델에서의 편향-분산 트레이드오프를 분석함으로써 더블 디센트 행동을 규명한다.

실험 결과

연구 질문

• RQ1 선택된 특징 수 $ p $ 가 증가함에 따라 주성분 회귀의 외부 샘플 예측 오차는 어떻게 변화하는가?
• RQ2 $ p > n $ 일 때조차도 상관관계가 없는 가우시안 특징 하에서 예측 오차가 더블 디센트 곡선을 보이는가?
• RQ3 고차원 극한에서 $ p/N \to \alpha $ 및 $ n/N \to \beta $ 일 때 예측 오차의 점근적 행동은 어떠한가?
• RQ4 분산으로 정렬된 특징의 순서가 $ p > n $ 영역에서 PCR의 일반화 성능에 어떻게 영향을 미치는가?
• RQ5 i.i.d. 가우시안 특징을 가진 평균 케이스 설정에서 PCR의 더블 디센트 현상은 해석적으로 특성화될 수 있는가?

주요 결과

• 예측 오차는 $ p $ 의 함수로 '더블 디센트' 형태를 보이며, $ p \approx n $ 에서 최솟값을 가지며 $ n $ 초과 시 두 번째 하강이 발생한다.
• 즉, $ p > n $ 일지라도 선택된 특징에 대한 최소 $ \ell_2 $ 노름 해는 유리한 편향-분산 트레이드오프 덕분에 $ p \leq n $ 인 경우보다 더 나은 일반화 성능을 보인다.
• i.i.d. 가우시안 특징이 분산 순서로 정렬된 평균 케이스 분석에서 더블 디센트 곡선은 특정 신호 구조가 필요 없이 자연스럽게 나타난다.
• 점근적 예측 오차는 비율 $ \alpha = p/N $ 와 $ \beta = n/N $ 에 의존하며, $ n $ 을 초과할 수 있는 최적의 $ p $ 에서 최솟값을 가진다.
• 분석 결과 더블 디센트 현상은 과적합의 산물이 아니며, 특징 선택, 차원 수, 정규화 간의 상호작용의 결과임을 확인한다.
• 결과적으로, 무작위 특징이 아닌 주성분을 통한 구조적 특징 선택에서도 더블 디센트 개념이 확장됨을 보여준다.