[논문 리뷰] Understanding overfitting peaks in generalization error: Analytical risk curves for $l_2$ and $l_1$ penalized interpolation

Partha P. Mitra|arXiv (Cornell University)|2019. 06. 09.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 35

한 줄 요약

본 논문은 MiSpaR (Misparametrized Sparse Regression)을 제시하여 고차원 설정에서의 l2 및 l1 규제가 있는 보간에서의 학습 및 일반화 오차 곡선을 해석적으로 도출하고, 과적합 피크가 고전적 규제-현대적 규제 구분을 엄밀히 구분하지 않으며 어느 규제가 일반화에 잘 작용하는지 보여준다.

ABSTRACT

Traditionally in regression one minimizes the number of fitting parameters or uses smoothing/regularization to trade training (TE) and generalization error (GE). Driving TE to zero by increasing fitting degrees of freedom (dof) is expected to increase GE. However modern big-data approaches, including deep nets, seem to over-parametrize and send TE to zero (data interpolation) without impacting GE. Overparametrization has the benefit that global minima of the empirical loss function proliferate and become easier to find. These phenomena have drawn theoretical attention. Regression and classification algorithms have been shown that interpolate data but also generalize optimally. An interesting related phenomenon has been noted: the existence of non-monotonic risk curves, with a peak in GE with increasing dof. It was suggested that this peak separates a classical regime from a modern regime where over-parametrization improves performance. Similar over-fitting peaks were reported previously (statistical physics approach to learning) and attributed to increased fitting model flexibility. We introduce a generative and fitting model pair ("Misparametrized Sparse Regression" or MiSpaR) and show that the overfitting peak can be dissociated from the point at which the fitting function gains enough dof's to match the data generative model and thus provides good generalization. This complicates the interpretation of overfitting peaks as separating a "classical" from a "modern" regime. Data interpolation itself cannot guarantee good generalization: we need to study the interpolation with different penalty terms. We present analytical formulae for GE curves for MiSpaR with $l_2$ and $l_1$ penalties, in the interpolating limit $λ ightarrow 0$.These risk curves exhibit important differences and help elucidate the underlying phenomena.

연구 동기 및 목표

• MiSpaR 프레임워크를 도입하여 측정값, 모델 매개변수 및 적합 자유도 사이의 분리를 제시한다.
• 보간 한계에서 l2 및 l1 패널티 하의 학습 오차와 일반화 오차에 대한 해석적 식을 도출한다.
• 과적합 피크가 보간 지점과 데이터 생성 능력 사이의 관계 및 희소성·잡음이 일반화에 미치는 영향을 어떻게 나타내는지 보여준다.
• 과적합된 규제-개격 상태에서 일반화가 언제 개선되거나 저하되는지 보여주기 위해 ridge (l2)와 sparse (l1) 패널티를 비교한다.

제안 방법

• MiSpaR를 제안하고 추론 매개변수 p의 수가 생성 매개변수 수 n 및 측정값 m과 다를 수 있는 생성 모델을 제시한다.
• 고차원에서 m,p,n→∞로의 고차치 극한을 고정된 비율 μ=p/m과 α=m/n으로 두고 l2 회귀에 대해 해석적 TE와 GE를 얻는다.
• 보간 한계에서 l1 패널티에 대한 해석적 GE 식을 제공하고 수치 해법을 위한 비선형 연쇄의 한 쌍을 제시한다.
• α, μ 및 ρ 하에서 undersampling/oversampling과 희소성에 의해 유효 잡음이 어떻게 달라지는지 두 패널티 아래에서 보인다.
• 자기평균성 주장을 사용하고 Marchenko-Pastur 분포를 포함한 무작위 행렬 이론을 통해 GE/TE 식에서 필요한 합들을 계산한다.

실험 결과

연구 질문

• RQ1 Misparametrization과 희소성이 l2 대 l1 패널티에서 보간 데이터를 다룰 때 학습 오차 및 일반화 오차에 어떤 영향을 미치는가?
• RQ2 과적합 피크가 데이터 보간 지점(μ=1) 및 일반화가 잘 이루어지는 구간(예: μ α =1)과 어떤 관련이 있는가?
• RQ3 특히 잡음이 작고 희소성이 강한 고과적 매개변수화 환경에서 l2와 l1 패널티가 일반화하는 능력이 어떻게 다른가?
• RQ4 두 패널티 모두에서 보간 한계에서 GE와 TE의 정확한 해석적 형태는 무엇이며 이것이 α, μ, ρ에 따라 어떻게 달라지는가?

주요 결과

• 보간 한계에서 (λ→0) 과적합 피크는 두 패널티 모두에 대해 μ=1에서 발생하지만, 좋은 일반화는 μα=1에서 시작될 수 있으며 보간 지점에서 반드시 시작되는 것은 아니다.
• 대규모 과매개변수화에서 일반화는 사라지며(GE(μ→∞)=1) 두 패널티에 대해 동일하지만, 희소한 l1은 σ^2와 ρ가 작을 때 상당한 μ 구간에서 일반화가 가능하다.
• 높은 과매개변수화와 잡음이 작고 강한 희소성이 있을 때 l1과 l2 사이에 성능 차이가 크게 나타나며, 이때 l1이 일반화될 수 있고 l2는 실패한다.
• 정규화가 유의하게 작용해도 피크를 억제하며, 단순히 보간만으로는 좋은 일반화가 보장되지 않음을 나타낸다.
• l1에 대한 해석적 GE 식은 τ, hat{ρ}, σ_{ξ}를 연결하는 세 개의 방정식 체계를 포함하며 희소 회귀의 알고리즘적 위상전이를 보여준다.
• 이 연구는 일반화 특성이 귀납적 바이어스(패널티 선택)에 크게 의존하며 데이터 보간 자체에만 고유하지 않음을 시사한다.