[논문 리뷰] On the Optimal Weighted $\ell_2$ Regularization in Overparameterized Linear Regression

Denny Wu, Ji Xu|arXiv (Cornell University)|2020. 06. 10.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 17

한 줄 요약

이 논문은 가중치가 부여된 $\lambda_2$ 정규화를 갖는 과다매개변수 선형 회귀에서 예측 위험의 정확한 渐近적 특성화를 제공하며, 이는 비균일한 데이터 및 신호 공분산 하에서 최적의 리지 파rameter $\lambda_{\text{opt}}$가 음수가 될 수 있음을 보여준다. 논문은 리지 없는 경우와 최적 정규화가 적용된 경우에 대해 최적의 가중치 행렬 $\boldsymbol{\Sigma}_w$를 도출하며, 암묵적 정규화를 정당화하고 주성분 회귀에서의 더블 디센트 현상을 설명한다.

ABSTRACT

We consider the linear model $\mathbf{y} = \mathbf{X} \mathbfβ_\star + \mathbfε$ with $\mathbf{X}\in \mathbb{R}^{n imes p}$ in the overparameterized regime $p>n$. We estimate $\mathbfβ_\star$ via generalized (weighted) ridge regression: $\hat{\mathbfβ}_λ= \left(\mathbf{X}^T\mathbf{X} + λ\mathbfΣ_w ight)^\dagger \mathbf{X}^T\mathbf{y}$, where $\mathbfΣ_w$ is the weighting matrix. Under a random design setting with general data covariance $\mathbfΣ_x$ and anisotropic prior on the true coefficients $\mathbb{E}\mathbfβ_\star\mathbfβ_\star^T = \mathbfΣ_β$, we provide an exact characterization of the prediction risk $\mathbb{E}(y-\mathbf{x}^T\hat{\mathbfβ}_λ)^2$ in the proportional asymptotic limit $p/n ightarrow γ\in (1,\infty)$. Our general setup leads to a number of interesting findings. We outline precise conditions that decide the sign of the optimal setting $λ_{ m opt}$ for the ridge parameter $λ$ and confirm the implicit $\ell_2$ regularization effect of overparameterization, which theoretically justifies the surprising empirical observation that $λ_{ m opt}$ can be negative in the overparameterized regime. We also characterize the double descent phenomenon for principal component regression (PCR) when both $\mathbf{X}$ and $\mathbfβ_\star$ are anisotropic. Finally, we determine the optimal weighting matrix $\mathbfΣ_w$ for both the ridgeless ($λ o 0$) and optimally regularized ($λ= λ_{ m opt}$) case, and demonstrate the advantage of the weighted objective over standard ridge regression and PCR.

연구 동기 및 목표

• 일반적인 비균일한 데이터 및 신호 공분산 하에서 과다매개변수 영역($p > n$)에서 일반화 리지 회귀의 예측 위험을 특성화하는 것.
• 과다매개변수 설정에서 실험적으로 관찰된 음수 최적 리지 파rameter의 역설을 해결하는 것.
• 리지 없는($\lambda \to 0$) 및 최적 정규화($\lambda = \lambda_{\text{opt}}$) 경우에 대해 최적의 가중치 행렬 $\boldsymbol{\Sigma}_w$를 도출하는 것.
• 비균일 조건 하에서 주성분 회귀에서 더블 디센트 행동이 어떻게 나타나는지 설명하는 것.

제안 방법

• 비례 渐近적 근사 한계 $p/n \to \gamma \in (1, \infty)$에서 랜덤 행렬 이론과 인구 스펙트럼 분포 분석을 사용하여 예측 위험을 유도한다.
• 일반적인 정규행렬 $\boldsymbol{\Sigma}_w$를 갖는 일반화된 리지 추정자 $\hat{\boldsymbol{\beta}}_\lambda = (\boldsymbol{X}^\top\boldsymbol{X} + \lambda\boldsymbol{\Sigma}_w)^\dagger \boldsymbol{X}^\top\boldsymbol{y}$를 도입한다.
• i.i.d. 특징 $\boldsymbol{x}_i \sim \mathcal{N}(0, \boldsymbol{\Sigma}_x)$와 비균일 사전분포 $\mathbb{E}[\boldsymbol{\beta}_\star\boldsymbol{\beta}_\star^\top] = \boldsymbol{\Sigma}_\beta$를 갖는 랜덤 설계 모델을 사용한다.
• 예측 위험 $\mathbb{E}(y - \boldsymbol{x}^\top\hat{\boldsymbol{\beta}}_\lambda)^2$의 정확한 표현을 $\boldsymbol{\Sigma}_x$와 $\boldsymbol{\Sigma}_\beta$의 고유값 및 정규화 파arameter $\lambda$에 대해 유도한다.
• 위험 함수의 도함수의 부호를 분석하여 $\lambda_{\text{opt}} < 0$가 되는 조건을 설정한다.
• 이상적 예측 위험을 최소화함으로써 최적의 $\boldsymbol{\Sigma}_w$를 계산하며, 이는 $\boldsymbol{\Sigma}_x$와 $\boldsymbol{\Sigma}_\beta$의 공동 스펙트럼 구조에 따라 달라진다.

실험 결과

연구 질문

• RQ1 과다매개변수 영역에서 최적 리지 파arameter $\lambda_{\text{opt}}$가 음수가 되는 조건은 무엇인가?
• RQ2 데이터 공분산 $\boldsymbol{\Sigma}_x$와 신호 공분산 $\boldsymbol{\Sigma}_\beta$의 비균일성이 예측 위험과 최적 정규화에 미치는 영향은 무엇인가?
• RQ3 리지 없는 및 최적 정규화 설정에서 예측 위험을 최소화하기 위한 최적의 가중치 행렬 $\boldsymbol{\Sigma}_w$는 무엇인가?
• RQ4 비균일 조건에서 주성분 회귀에서 더블 디센트 현상은 어떻게 나타나는가?
• RQ5 가중 리지 회귀는 고차원 과다매개변수 설정에서 표준 리지 회귀 및 PCR보다 우월한 성능을 낼 수 있는가?

주요 결과

• 신호 및 데이터 공분산 $\boldsymbol{\Sigma}_\beta$와 $\boldsymbol{\Sigma}_x$가 비균일할 경우 최적 리지 파arameter $\lambda_{\text{opt}}$가 음수가 될 수 있으며, 이는 실험적 관찰에 대한 이론적 근거를 제공한다.
• 예측 위험은 주성분 회귀에서 $\boldsymbol{\Sigma}_x$와 $\boldsymbol{\Sigma}_\beta$가 정렬되지 않을 경우 더블 디센트 행동을 보이며, 과다매개변수 영역에서 다중 피크를 가진다.
• 리지 없는 회귀의 최적 가중치 행렬 $\boldsymbol{\Sigma}_w$는 $\boldsymbol{\Sigma}_w = \left( (\boldsymbol{\Sigma}_x - c\mathbf{I})^2 + d\mathbf{I} \right)^{-1}$ 로 주어지며, 여기서 $c$와 $d$는 고유값의 조건부 기대값에 따라 달라진다.
• 최적 정규화가 적용된 회귀의 경우, 최적의 $\boldsymbol{\Sigma}_w$는 $\boldsymbol{\Sigma}_x$와 $\boldsymbol{\Sigma}_\beta$의 공동 스펙트럼 분포에 대한 함수로 유도되며, 표준 리지 및 PCR보다 일반화 성능을 향상시킨다.
• 논문에서 유도한 이론적 예측 위험은 이산 및 연속 분포를 포함한 다양한 구성에서 유한 표본 시뮬레이션과 정확히 일치한다.
• 최적의 $\boldsymbol{\Sigma}_w$를 갖는 가중 리지 회귀는 특히 정렬되지 않은 비균일 설정에서 표준 리지 회귀 및 PCR보다 낮은 예측 위험을 달성한다.