[논문 리뷰] Regularization in High-Dimensional Regression and Classification via Random Matrix Theory

Panagiotis Lolas|arXiv (Cornell University)|2020. 03. 30.

Random Matrices and Applications참고 문헌 36인용 수 10

한 줄 요약

이 논문은 랜덤 매트릭스 이론을 사용하여 고차원 회귀 및 분류에서 정규화의 고차원 점점 증가하는 이론을 개발하며, 리지 회귀의 훈련 오차와 테스트 오차에 대한 정확한 공식을 유도하고 선형 판별 분석을 위한 최적의 고유값 수축 방법을 제안한다. 또한 베이즈 최적 정규화 파rameter를 사용한 리지 회귀가 모든 특이값 수축 추정량 중 최소최대(minimax)임을 입증한다.

ABSTRACT

We study general singular value shrinkage estimators in high-dimensional regression and classification, when the number of features and the sample size both grow proportionally to infinity. We allow models with general covariance matrices that include a large class of data generating distributions. As far as the implications of our results are concerned, we find exact asymptotic formulas for both the training and test errors in regression models fitted by gradient descent, which provides theoretical insights for early stopping as a regularization method. In addition, we propose a numerical method based on the empirical spectra of covariance matrices for the optimal eigenvalue shrinkage classifier in linear discriminant analysis. Finally, we derive optimal estimators for the dense mean vectors of high-dimensional distributions. Throughout our analysis we rely on recent advances in random matrix theory and develop further results of independent mathematical interest.

연구 동기 및 목표

• 고차원 회귀 및 분류에서 정규화를 분석하기 위한 일반적인 프레임워크를 개발하는 것.
• 기존의 리지 회귀 및 판별 분석 결과를 일반적인 특이값 수축 추정량으로 확장하여 임의의 공분산 구조 하에서 적용하는 것.
• 리지 회귀의 훈련 오차와 테스트 오차에 대한 정확한 점점 증가하는 공식을 도출하여 경사 하강법 기반 최적화에서의 조기 정지에 대한 이론적 근거를 제공하는 것.
• 표본 공분산 스펙트럼을 기반으로 한 수치적으로 효율적인 선형 판별 분석의 최적 고유값 수축 방법을 제안하는 것.
• 고차원 설정에서 조밀한 평균 벡터에 대한 최적 추정량을 도출하고 고차원 점점 증가하는 점근적 영역에서 이론적 보장을 제공하는 것.

제안 방법

• 특징 차원 $p$와 표본 크기 $n$이 비율적으로 증가하는 고차원 점점 증가하는 점근적 영역에서 $p/n \to \gamma > 0$를 고려하는 것.
• 최근의 랜덤 매트릭스 이론의 발전을 활용하여 표본 공분산 행렬의 점점 증가하는 스펙트럼 분포 및 그 기능들을 분석하는 것.
• 스티엘티jes 변환을 포함하는 방정식계의 해를 통해 리지 회귀의 훈련 오차와 테스트 오차에 대한 정확한 점점 증가하는 표현을 유도하는 것.
• 표본 고유값을 기반으로 한 제약 조건이 있는 최적화 문제를 푸는 방법을 통해 선형 판별 분석의 최적 수축 함수를 수치적으로 계산하는 것.
• 측도 집중 및 스펙트럼 노름 바OUNDS를 사용하여 추정된 파rameter를 포함하는 이차 형식의 거의 확실 수렴을 확립하는 것.
• 마르첸코-파스트르 법칙 및 그 일반화를 사용하여 표본 공분산 행렬 $\hat{\Sigma}$의 점점 증가하는 스펙트럼 분포를 특성화하는 것.

실험 결과

연구 질문

• RQ1 고차원 회귀에서 일반적인 특이값 수축 추정량에 대해 정확한 점점 증가하는 훈련 오차와 테스트 오차 공식은 무엇인가요?
• RQ2 경사 하강법 기반 최적화에서의 조기 정지는 고차원 설정에서 정규화와 어떻게 관련이 있나요?
• RQ3 일반적인 공분산 구조 하에서 선형 판별 분석의 최적 고유값 수축 함수는 무엇인가요?
• RQ4 어떤 특이값 수축 방법도 베이즈 최적 정규화 파rameter를 사용한 리지 회귀를 초월할 수 있나요?
• RQ5 노이즈가 있는 공분산 추정이 수반된 고차원 선형 판별 분석에서 분류 오차의 점점 증가 행동은 어떻게 되나요?

주요 결과

• 논문은 리지 회귀의 정확한 점점 증가하는 훈련 오차와 테스트 오차 공식을 도출하며, 경사 하강법에서의 조기 정지가 효과적인 정규화 경로에 해당함을 보여준다.
• 모든 특이값 수축 추정량 중에서 베이즈 최적 정규화 파rameter를 사용한 리지 회귀가 최적임을 증명하며, 이로써 리지 회귀가 이 클래스 내에서 최소최대(minimax)임을 입증한다.
• 선형 판별 분석의 최적 고유값 수축 함수는 표본 스펙트럼 분포 위에서의 제약 조건 최적화 문제의 해로 도출된다.
• 고차원 LDA에서의 분류 오차의 점점 증가 수렴값은 스티엘티제스 변환과 점점 증가하는 스펙트럼 측도 $H$를 포함한 표현으로 수렴한다.
• 점점 증가하는 분석은 오분류율이 신호 강도 $\alpha^2$, 차원 비율 $\gamma$, 그리고 $\Sigma$의 스펙트럼 분포 간의 상호작용에 의해 영향을 받음을 확인한다.
• 최적 수축 계수를 계산하는 방법은 수치적으로 실현 가능하며, 표본 공분산 행렬의 표본 고유값에 기반하여 실용적인 구현이 가능하다.