[논문 리뷰] On Principal Component Regression in a High-Dimensional Error-in-Variables Setting.

Anish Agarwal, Devavrat Shah외 1명|arXiv (Cornell University)|2020. 10. 27.

Statistical Methods and Inference참고 문헌 30인용 수 4

한 줄 요약

이 논문은 공변량이 노이즈에 의해 훼손되고 누락된 값을 가진 고차원 오차항이 있는 모델에서 주성분 회귀(PCR)를 연구한다. 여기서 공변량의 수는 표본 크기를 초과한다. 논문은 PCR이 최소 $β_2$-노름 해를 일致적으로 추정함을 입증하고, 추정과 샘플 외 예측에 대해 비점근적 오차율을 제공한다. 이는 샘플 내 공변량과 샘플 외 공변량이 동일한 분포를 따르지 않을 경우에도 성립한다.

ABSTRACT

We analyze the classical method of principal component regression (PCR) in a high-dimensional error-in-variables setting. Here, the observed covariates are not only noisy and contain missing values, but the number of covariates can also exceed the sample size. Under suitable conditions, we establish that PCR identifies the unique linear model parameter with minimum $\ell_2$-norm, and derive non-asymptotic $\ell_2$-rates of convergence that show its consistency. Furthermore, we develop an algorithm for out-of-sample predictions in the presence of corrupted data that uses PCR as a key subroutine, and provide its non-asymptotic prediction performance guarantees. Notably, our results do not require the out-of-samples covariates to follow the same distribution as that of the in-sample covariates, but rather that they obey a simple linear algebraic constraint. We provide simulations that illustrate our theoretical results.

연구 동기 및 목표

• 노이즈 및 누락된 공변량이 있는 고차원 설정에서 주성분 회귀(PCR)의 거동을 이해하는 것.
• 고차원 오차항이 있는 모델에서 최소 $β_2$-노름 해를 추정할 때 PCR의 이론적 일치성을 확립하는 것.
• 샘플 외 공변량이 샘플 내 공변량과 동일한 분포를 따르지 않을 경우에도 유효한 유지되는 샘플 외 예측 알고리즘을 개발하는 것.
• 노이즈, 누락, 고차원 공변량이 있는 조건에서 추정과 예측에 대해 비점근적 $β_2$-노름 오차율을 도출하는 것.

제안 방법

• 이 방법은 관측된 공변량이 노이즈에 의해 훼손되고 일부 값이 누락될 수 있는 고차원 오차항이 있는 프레임워크에서 PCR을 분석한다.
• 적절한 설계 행렬과 오차 구조에 대한 정규성 조건 하에서 PCR이 유일한 최소 $β_2$-노름 해를 식별함을 입증한다.
• PCR 추정량에 대한 비점근적 $β_2$-노름 수렴 속도를 도출하며, $p > n$일 경우에도 일치성을 보여준다.
• PCR을 서브루틴으로 사용하는 샘플 외 예측 알고리즘을 제안하고, 샘플 외 공변량에 선형 대수적 조건이 만족될 경우 성능 보장을 제공한다.
• 이론적 분석은 고차원 랜덤 행렬 이론과 농도 부등식을 활용하여 추정 오차를 통제한다.
• 이 방법은 샘플 외 공변량이 샘플 내 공변량과 동일한 분포를 따라야 한다는 조건이 없으며, 오직 단순한 선형 대수적 조건만 필요하다.

실험 결과

연구 질문

• RQ1 노이즈 및 누락된 공변량이 있는 고차원 오차항이 있는 모델에서 PCR은 최소 $β_2$-노름 해를 일치적으로 추정하는가?
• RQ2 공변량 수 $p > n$인 고차원 설정에서 PCR 추정에 대해 비점근적 $β_2$-노름 오차율을 어떻게 유도할 수 있는가?
• RQ3 샘플 외 공변량이 샘플 내 공변량과 동일한 분포를 따르지 않을 경우 PCR을 신뢰성 있게 샘플 외 예측에 사용할 수 있는가?
• RQ4 PCR을 서브루틴으로 사용할 때 샘플 외 데이터에 대해 어떤 조건이 예측 성능을 보장하는가?
• RQ5 고차원 오차항이 있는 모델에서 PCR의 이론적 오차 경계는 노이즈 수준, 차원 수, 표본 크기에 따라 어떻게 의존하는가?

주요 결과

• 적절한 정규성 조건 하에서 고차원 오차항이 있는 모델에서 PCR은 최소 $β_2$-노름 해를 일치적으로 추정한다.
• 노이즈, 누락, 고차원 공변량이 있는 조건에서 PCR 추정에 대해 비점근적 $β_2$-노름 오차율이 도출되었으며, 공변량 수가 표본 크기를 초과할 경우에도 일치성을 보여준다.
• 샘플 외 공변량에 선형 대수적 조건이 만족될 경우 PCR 기반 예측 알고리즘이 비점근적 성능 보장을 달성하며, 분포 유사성 조건이 필요하지 않다.
• 이론적 경계는 샘플 외 공변량이 샘플 내 공변량과 동일한 분포를 따라야 한다는 조건에 의존하지 않으며, 오직 구조적 조건에만 의존한다.
• 시뮬레이션 결과는 이론적 예측을 확인하며, PCR이 노이즈, 누락 데이터, 고차원성에 대해 강건함을 보여준다.
• 결과는 오차항이 있는 고차원 설정에서 데이터가 손상된 경우 PCR을 사용할 수 있는 이론적 기반을 확립하며, 기존의 i.i.d. 가정을 초월한 적용 가능성을 넓힌다.