[논문 리뷰] Provable More Data Hurt in High Dimensional Least Squares Estimator

Zeng Li, Chuanlong Xie외 1명|arXiv (Cornell University)|2020. 08. 14.

Random Matrices and Applications참고 문헌 35인용 수 6

한 줄 요약

이 논문은 고차원 최소제곱 회귀에서 예측 위험에 대한 최초의 유한표본 중심극한정리(central limit theorem)를 수립하여, 과다매개변수화된 영역에서 위험의 비단조화적 행동으로 인해 더 많은 데이터가 성능을 떨어뜨릴 수 있음을 증명한다. 랜덤 행렬 이론을 통해 p/n → c > 1일 때 '더 많은 데이터가 해로울 수 있다'는 현상을 확인할 수 있는 신뢰구간을 유도한다.

ABSTRACT

This paper investigates the finite-sample prediction risk of the high-dimensional least squares estimator. We derive the central limit theorem for the prediction risk when both the sample size and the number of features tend to infinity. Furthermore, the finite-sample distribution and the confidence interval of the prediction risk are provided. Our theoretical results demonstrate the sample-wise nonmonotonicity of the prediction risk and confirm "more data hurt" phenomenon.

연구 동기 및 목표

• 고차원 최소제곱 추정에서 예측 위험의 유한표본 분포를 엄밀하게 기술하는 것.
• 표본 수가 증가할수록 예측 성능이 악화될 수 있는 과다매개변수 모델에서 '더 많은 데이터가 해로울 수 있다'는 역설을 해결하는 것.
• 두 번째 순서의 변동성을 분석하여 예측 위험의 비단조화적 행동에 대한 이론적 기반을 마련하는 것.
• 고차원 설정에서 통계적 추론이 가능하도록 예측 위험에 대한 渐近적 신뢰구간을 유도하는 것.

제안 방법

• 최소제곱 추정기의 예측 위험을 분석하기 위해 랜덤 행렬 이론, 특히 선형 스펙트럼 통계의 중심극한정리를 적용한다.
• n과 p가 모두 증가하고 p/n → c가 되는 渐近적 영역에서 예측 위험의 극한 분포를 유도한다.
• 표준화된 검정통계량 T_n, T_{n,0}, T_{n,1}, T_{n,2}, T_{n,3}을 도입하여, 중심극한정리에 따라 표준 정규분포로 수렴함을 보인다.
• 설계 행렬과 계수에 조건부인 위험과 모델 가정 하에 무조건적인 위험의 두 유형을 사용한다.
• Bai & Silverstein (2004) 및 Bai 등 (2007)의 이론적 도구를 활용하여 수렴 속도와 극한 분산을 도출한다.
• 다양한 분포(Gaussian, gamma, t-분포) 하에서 1000회의 반복을 포함한 몬테카를로 시뮬레이션을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 고차원 회귀에서 '더 많은 데이터가 해로울 수 있다'는 현상은 유한표본 분포를 통해 공식적으로 증명될 수 있는가?
• RQ2 표본 수 n과 특징 수 p가 모두 무한대가 되고 p/n → c일 때 예측 위험은 어떻게 행동하는가?
• RQ3 과다매개변수 선형 모델에서 예측 위험의 유한표본 분포는 무엇인가?
• RQ4 증가하는 n에 따라 위험의 비단조화적 행동을 반영할 수 있는 예측 위험에 대한 신뢰구간을 구성할 수 있는가?
• RQ5 예측 위험의 두 번째 순서의 변동성은 표본 수에 대한 모델 성능의 단조성에 어떤 영향을 미치는가?

주요 결과

• n과 p가 함께 무한대가 되고 p/n → c가 되는 공동 渐近적 영역에서 예측 위험의 유한표본 분포는 정규분포로 수렴하여 통계적 추론이 가능하다.
• 예측 위험에 대한 신뢰구간은 비단조화적 행동를 보인다: 과다매개변수 영역(c>1)에서 어떤 n₁ < n₂에 대해 n₁의 상한이 n₂의 하한 이하가 되는 경우가 있으며, 이는 '더 많은 데이터가 해로울 수 있다'는 것을 확인한다.
• c=1/2일 때, p가 증가함에 따라 95% 신뢰구간의 경험적 커버리지 비율은 점차 95%에 수렴하여 중심극한정리 근사의 타당성을 검증한다.
• c=2일 때, 개선된 통계량 T_{n,3}의 유한표본 성능은 T_{n,2}보다 우수하며, p가 증가함에 따라 커버리지 비율이 명목 수준에 수렴한다.
• 예측 위험은 표본 단위의 이중내림곡선(double descent curve)을 보이며, p/n ≈ 1 근처에서 위험의 피크가 나타나고 이후 감소함을 보여, 더 많은 데이터가 성능에 악영향을 줄 수 있음을 설명한다.
• 이론적 결과는 '더 많은 데이터가 해로울 수 있다'는 현상이 단지 渐近적 편향 때문이 아니라 과다매개변수화와 위험의 두 번째 순서의 변동성 간의 상호작용 때문임을 확인한다.