[논문 리뷰] Asymptotics of Ridge (less) Regression under General Source Condition

Dominic Richards, Jaouad Mourtada외 1명|arXiv (Cornell University)|2020. 06. 11.

Statistical Methods and Inference참고 문헌 51인용 수 20

한 줄 요약

이 논문은 표본 크기와 차원이 비례하여 증가하는 고차원 점근적 영역에서 리지 회귀를 분석하며, 진짜 회귀 계수의 구조—소스 조건을 통해 표현되는 바—가 보간(리지 없는 회귀)이 최적일 수 있는지를 보여준다. 주요 발견은 신호 계수들이 고분산 데이터 방향과 일치할 경우 유한한 신호 대 잡음 비율(SNR) 조건 하에서도 보간이 최적일 수 있다는 점이며, 이는 이전 연구에서 등방성 사전분포 조건 하에서 무한한 SNR 가 필요로 했던 결과와 대비된다.

ABSTRACT

We analyze the prediction error of ridge regression in an asymptotic regime where the sample size and dimension go to infinity at a proportional rate. In particular, we consider the role played by the structure of the true regression parameter. We observe that the case of a general deterministic parameter can be reduced to the case of a random parameter from a structured prior. The latter assumption is a natural adaptation of classic smoothness assumptions in nonparametric regression, which are known as source conditions in the the context of regularization theory for inverse problems. Roughly speaking, we assume the large coefficients of the parameter are in correspondence to the principal components. In this setting a precise characterisation of the test error is obtained, depending on the inputs covariance and regression parameter structure. We illustrate this characterisation in a simplified setting to investigate the influence of the true parameter on optimal regularisation for overparameterized models. We show that interpolation (no regularisation) can be optimal even with bounded signal-to-noise ratio (SNR), provided that the parameter coefficients are larger on high-variance directions of the data, corresponding to a more regular function than posited by the regularization term. This contrasts with previous work considering ridge regression with isotropic prior, in which case interpolation is only optimal in the limit of infinite SNR.

연구 동기 및 목표

• 표본 크기 n과 차원 p가 비례하여 증가하는 고차원 점근적 영역에서 리지 회귀의 일반화 오차를 이해하는 것.
• 진짜 회귀 계수의 구조—특히 주성분과의 일치 정도—가 최적의 정규화에 미치는 영향을 조사하는 것.
• 이전의 이중 내림막(double descent) 및 보간 성질에 대한 결과를 비등방성 파rameter 구조를 통합함으로써 확장하는 것.
• 고차원 선형 회귀에서 소스 조건의 역할을 정형화하여, 역문제 이론에서의 부드러움 가정과 연결하는 것.
• 데이터 공분산, 신호 구조, 정규화에 따라 달라지는 테스트 오차의 정밀한 특성화를 제공하는 것.

제안 방법

• 저자는 진짜 회귀 계수를 데이터 공분산의 주성분들에 대한 계수 분포를 반영하는 구조적 사전분포에서 무작위로 추출된 것으로 모델링한다.
• 점근적 난수 행렬 이론 도구를 사용하여 이 사전분포 하에서 리지 회귀의 점진적 테스트 오차를 유도한다.
• n, p → ∞ 이면서 p/n → γ > 0 이 되는 고차원 점근적 영역을 가정한다.
• 소스 조건은 인구 공분산의 고유공간에 대한 계수의 투영에 대한 사전분포로 정형화되며, 고전적 부드러움 가정을 일반화한다.
• 신호 대 잡음 비율, 정규화 파rameter, 과다파ram터화 비율, 그리고 소스 조건에 의해 표현되는 계수의 구조에 따라 제한적 예측 오차의 닫힌 형태 식을 유도한다.
• 강한 요소와 약한 요소를 가진 단순화된 이원소 모델을 통해 모델의 잘못된 특정화가 미치는 영향을 설명한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 리지 없는(보간하는) 회귀가 최적의 예측 오차를 달성할 수 있는 조건는 무엇인가?
• RQ2 진짜 계수의 데이터 공분산의 고분산 주성분들과의 일치 정도가 보간의 최적성에 어떤 영향을 미치는가?
• RQ3 진짜 계수에 대한 등방성 사전분포 가정이 과다파ram터화 모델에서 일반화 성능을 완전히 특성화하는 데에 적합한가?
• RQ4 신호가 고유공간에 분포하는 방식을 표현하는 소스 조건이 리지 회귀의 이중 내림막 행동을 어떻게 수정하는가?
• RQ5 신호가 고분산 방향에 집중되어 있을 경우, 유한한 신호 대 잡음 비율 조건 하에서도 보간이 최적일 수 있는가?

주요 결과

• 진짜 계수가 데이터 공분산의 고분산 방향에서 더 큰 계수를 가지는 경우, 유한한 신호 대 잡음 비율 조건 하에서도 보간(리지 없는 회귀)이 최적일 수 있다.
• 리지 회귀의 점진적 테스트 오차는 신호 대 잡음 비율, 정규화 파ram터, 과다파aram터화 비율, 그리고 신호 구조를 표현하는 소스 조건에 의해 정확히 특성화된다.
• 단순화된 이원소 모델에서 최적의 정규화는 강한 요소와 약한 요소 간의 신호 강도 비율에 따라 달라지며, 신호가 고분산 성분에 집중되어 있을 경우 보간이 최적이다.
• 분석 결과는 표준 등방성 사전분포 가정이 하위최적의 특성화를 초래함을 보여주며, 이는 신호 대 잡음 비율이 유한한 조건 하에서도 보간이 최적일 수 있는 경우를 배제하기 때문이다.
• 고차원 극한 하에서 경험적 추적값이 그들의 인구 대응값으로 거의 확실히 수렴함을 입증하여, 점진적 오차 식 유도를 가능하게 한다.
• 논문은 소스 조건이 과다파aram터화 선형 회귀에서 계수의 구조를 모델링하는 데 자연스럽고 직관적인 프레임워크를 제공함을 보여주며, 고전적 정규화 이론을 확장한다.