[논문 리뷰] On the number of variables to use in principal component regression

Ji Xu, Daniel Hsu|arXiv (Cornell University)|2019. 06. 04.

Statistical Methods and Inference참고 문헌 16인용 수 9

한 줄 요약

이 논문은 특성 수 $ p $가 표본 크기 $ n $를 초과하는 고차원 설정에서 주성분 회귀(PCR)를 분석하며, $ p $가 증가함에 따라 예측 오차가 '더블 디센트'(double descent) 곡선을 보임을 보여준다. 놀랍게도, 공분산 행렬의 고유값이 천천히 감소할 경우, 오차의 최솟값이 $ p > n $인 보간 영역에서 발생하며, 이는 $ p > n $일 경우 과적합이 발생한다는 전통적 통념에 도전한다.

ABSTRACT

We study least squares linear regression over $N$ uncorrelated Gaussian features that are selected in order of decreasing variance. When the number of selected features $p$ is at most the sample size $n$, the estimator under consideration coincides with the principal component regression estimator; when $p>n$, the estimator is the least $\ell_2$ norm solution over the selected features. We give an average-case analysis of the out-of-sample prediction error as $p,n,N o \infty$ with $p/N o α$ and $n/N o β$, for some constants $α\in [0,1]$ and $β\in (0,1)$. In this average-case setting, the prediction error exhibits a "double descent" shape as a function of $p$. We also establish conditions under which the minimum risk is achieved in the interpolating ($p>n$) regime.

연구 동기 및 목표

• 선택된 성분 수 $ p $가 표본 크기 $ n $를 초과할 때 주성분 회귀(PCR)의 외부 표본 예측 오차를 분석하기 위해.
• 고차원 점근적 영역에서 평균 사례 오차를 연구함으로써, $ p > n $일 경우 PCR에서 과적합이 발생한다는 전통적 믿음을 도전하기 위해.
• 최소 예측 오차가 $ p < n $의 과소정의 영역이 아닌 $ p > n $의 보간 영역에서 달성되는 조건을 규명하기 위해.
• PCR에서 '더블 디센트' 위험 곡선의 존재를 확립하기 위해, $ p $가 증가함에 따라 오차가 처음 감소하다가 증가하고 다시 감소하는 경향을 설명하기 위해.

제안 방법

• 저자는 진짜 계수 벡터 $ \boldsymbol{\theta} $가 등방향 우선사전에서 추출되고, 설계 행렬 $ \boldsymbol{X} $가 알려진 대각 공분산 $ \boldsymbol{\Sigma} = \operatorname{diag}(\lambda_1, \dots, \lambda_N) $를 가진 i.i.d. $ \mathcal{N}(0, \boldsymbol{\Sigma}) $ 특성으로 구성된 평균 사례 분석을 고려한다.
• 무작위 행렬 이론과 경험 고유값 분포의 스티엘제스 변환을 사용하여, $ N, n, p \to \infty $ 이면서 $ p/N \to \alpha \in [0,1] $ 및 $ n/N \to \beta \in (0,1) $일 때 PCR의 점근적 예측 오차를 유도한다.
• PCR 추정량은 $ p \leq n $일 경우 $ \hat{\boldsymbol{\theta}}_P = (\boldsymbol{X}_P^\top \boldsymbol{X}_P)^{-1} \boldsymbol{X}_P^\top \boldsymbol{y} $로 정의되며, $ p > n $일 경우 $ \hat{\boldsymbol{\theta}}_P = \boldsymbol{X}_P^\top (\boldsymbol{X}_P \boldsymbol{X}_P^\top)^{-1} \boldsymbol{y} $로 정의되며, $ \hat{\boldsymbol{\theta}}_{P^c} = \mathbf{0} $이다.
• 분석은 설계 행렬과 그 의사역행렬을 포함하는 이차형식의 점근적 행동을 특성화함으로써 이루어지며, 마르체노-파스트르 법칙과 스티엘제스 변환을 포함한 고정점 방정식의 해와 같은 도구를 사용한다.
• 예측 오차는 편향과 분산 성분으로 분해되며, 콩센트레이션 측도와 스펙트럼 모멘트의 수렴을 통해 점근적 오차가 도출된다.
• 핵심 기술적 혁신은 스티엘제스 변환 $ m_f(z) $와 함수 $ q_f(s, \nu) $를 포함하는 기능 방정식을 사용하여, 점근적 오차를 고유값 분포 $ f(t) $와 정규화 매개변수 $ s^* $와 연결하는 것이다.

실험 결과

연구 질문

• RQ1 성분 수 $ p $가 표본 크기 $ n $를 초과할 때 PCR의 예측 오차가 '더블 디센트' 곡선을 보이는가?
• RQ2 PCR에서 최소 예측 오차가 $ p < n $의 과소정의 영역이 아닌 $ p > n $의 보간 영역에서 달성될 수 있는가?
• RQ3 PCR에서 더블 디센트 현상이 발생하는 조건은 공분산 행렬의 고유값 분포에 대해 어떤가?
• RQ4 고차원 한계에서 $ p/N \to \alpha $ 및 $ n/N \to \beta $일 때 PCR의 점근적 예측 오차는 어떻게 행동하는가?
• RQ5 고유값 감쇠 속도는 $ p > n $가 $ p < n $보다 낮은 오차를 유도하는 데 어떤 역할을 하는가?

주요 결과

• PCR의 예측 오차는 $ p $에 대한 함수로서 '더블 디센트' 형태를 보이며, 초기 감소, $ p \approx n $ 근처에서 피크, 그리고 $ p > n $에서의 재감소를 보인다.
• 공분산 행렬의 고유값이 천천히 감소할 경우, 특히 스펙트럼 측도 $ f(t) $가 특정 규칙성 조건을 만족할 경우, 최소 예측 오차는 보간 영역($ p > n $)에서 달성된다.
• 동일한 조건 하에서, $ p > n $ 영역의 점근적 예측 오차는 $ p < n $ 영역에서 달성 가능한 최고의 오차보다 엄격히 낮다.
• 더블 디센트 행동은 고차원 한계에서 편향과 분산의 상쇄로 인해 발생하며, 이는 $ p $개의 특성에 대해 $ \ell_2 $-노름이 최소인 해가 $ p < n $의 어떤 해보다도 낮은 오차를 달성하기 때문이다.
• 한계 예측 오차는 고유값 분포 $ f(t) $에 의존하며, 최적의 $ p $는 스티엘제스 변환 $ m_f(z) $와 함수 $ q_f(s, \nu) $를 포함하는 고정점 방정식에 의해 결정된다.
• 논문은 최소 위험이 어떤 $ p > n $에서 달성된다는 것을 보이며, 이는 식 $ h_f(\nu) = 0 $ 이 $ f $의 지지집합 내에서 해를 가지는 것과 동치이며, 또는 $ \beta s^* < \delta \int_{\eta_1}^\infty t f(t) dt $를 만족하는 경우에 해당한다. 여기서 $ s^* $는 $ q_f(s^*) = 0 $의 해이다.