[논문 리뷰] A note on the prediction error of principal component regression

Martin Wahl|arXiv (Cornell University)|2018. 11. 07.

Statistical Methods and Inference참고 문헌 13인용 수 4

한 줄 요약

이 논문은 주성분 분석(PCA)의 복원 오차와 관련지어 주성분 회귀(PCR)의 예측 오차에 대한 비 渐近적 상한을 제시한다. 미세한 가정 하에 PCR는 인구 수준의 주성분을 사용하는 오라클 방법과 거의 같은 성능을 보이며, 오차 상한은 고유값 감쇠와 표본 크기에 따라 달라진다.

ABSTRACT

We analyse the prediction error of principal component regression (PCR) and prove non-asymptotic upper bounds for the corresponding squared risk. Under mild assumptions, we show that PCR performs as well as the oracle method obtained by replacing empirical principal components by their population counterparts. Our approach relies on upper bounds for the excess risk of principal component analysis.

연구 동기 및 목표

• 기능 선형 모델 프레임워크에서 주성분 회귀(PCR)의 예측 오차에 대한 비 渐近적 상한을 설정하는 것.
• 표본 주성분을 사용하는 PCR과 인구 수준의 성분을 사용하는 이상적인 오라클 방법 사이의 성능 격차를 정량화하는 것.
• PCR의 예측 오차를 PCA의 초과 위험과 연결하여, PCA 이론에서 알려진 상한을 PCR에 전이하는 것.
• 일반적인 고유값 감쇠 가정 하에 유한 표본 위험 상한을 유도하는 것, 다항 감쇠 포함.
• 고차원 및 기능 데이터 설정에서 PCR의 성능에 대한 이론적 근거를 제공하는 것.

제안 방법

• 기능 선형 회귀 문제를 무작위 설계 하에 분리 가능한 힐베르트 공간 프레임워크에서 모델링한다.
• 예측 오차는 고유전개를 잘라내는 데서 발생하는 근사 오차와 표본 주성분을 사용함으로써 발생하는 추정 오차로 분해된다.
• 퍼티urbed 이론과 경험 과정 도구를 사용하여 PCA의 초과 위험을 유계로 제한하며, 특히 Reiß와 Wahl(2017)의 PCA 초과 위험에 관한 결과를 활용한다.
• 핵심 기술적 단계는 조건 $ \frac{\nu_r}{\nu_r - \nu_{r+1}} \leq C r $ 를 만족시키는 투영 랭크 $ r $ 의 수열을 구성하는 것으로, 고유값 간격의 안정성을 확보한다.
• 이중 투영에 대한 체이닝 추론을 사용하여 표본 부분공간 위로의 투영 오차의 제곱 합을 제어한다.
• 최종 상한은 근사 오차 $ \lambda_{d+1}^{1+2s}\|h\|^2 $, 분산 항 $ \frac{\sigma^2 d}{n} $, 그리고 추적과 지수 감쇠를 포함하는 나머지 항 $ R $ 을 조합한다.

실험 결과

연구 질문

• RQ1 PCR의 예측 오차는 인구 주성분을 사용하는 오라클 추정자와 비교해 어떻게 되는가?
• RQ2 일반적인 고유값 감쇠 하에서 PCR의 제곱 예측 위험에 대해 비 渐近적 상한을 어떻게 도출할 수 있는가?
• RQ3 표본 주성분과 인구 주성분을 사용할 때의 오차는 PCA의 초과 위험을 통해 어떻게 통제할 수 있는가?
• RQ4 다항 고유값 감쇠 $ \lambda_j \sim j^{-\alpha} $ 하에서 PCR의 최적 수렴 속도는 무엇인가?
• RQ5 표본 크기 $ n $ 과 잘라내는 차원 $ d $ 가 함께 PCR의 예측 위험에 어떻게 영향을 미치는가?

주요 결과

• 미세한 가정 하에 PCR의 예측 오차는 $ C\left(\lambda_{d+1}^{1+2s}\|h\|^2 + \frac{\sigma^2 d}{n} + R\right) $ 로 유계로 제한되며, 여기서 $ R $ 은 표본 PCA에서 발생하는 오차를 캡처한다.
• 다항 고유값 감쇠 $ \lambda_j \sim j^{-\alpha} $ 에 대해 예측 위험은 $ C\left(d^{-\alpha - 2s\alpha}\|h\|^2 + \frac{d^{2-\alpha}\log(ed)}{n}\|h\|^2 + \frac{\sigma^2 d}{n}\right) $ 로 유계로 제한되며, 이는 $ d^2 \log(ed) \leq cn $ 일 때 유효하다.
• 나머지 항 $ R $ 은 $ n/d^2 $ 에 대해 지수적으로 감쇠하므로, $ d $ 가 $ n $ 과 함께 느리게 증가할 경우 빠른 수렴을 나타낸다.
• 이 상한은 오라클 위험과 로그 및 상수 인자 외에는 일치하므로 날카로운 것으로 간주되며, PCR이 거의 최적 성능을 달성하고 있음을 보여준다.
• 분석은 표본 성분을 사용할 때 발생하는 오차가 PCA의 초과 위험에 의해 통제됨을 입증하며, 이는 자체적으로 편경 이론과 경험 과정 기법을 통해 유계로 제한된다.
• 결과는 고유값 감쇠에 대한 일반적인 가정과 서브-가우시안 설계 하에 성립하며, 상수는 오직 $ C_{ev}, \alpha, s $, 그리고 서브-가우시안 노름 $ C_{\psi_2} $ 에만 의존한다.