[논문 리뷰] Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting

Frederic Koehler, Lijia Zhou외 2명|arXiv (Cornell University)|2021. 06. 17.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 가우시안 특징을 가진 고차원 선형 회귀에서 보간기의 통일 수렴 프레임워크를 수립하며, 일반화 오차를 제한하기 위해 가우시안 폭을 사용한다. 이는 저노름 보간기—특히 최소 ℓ₁- 및 ℓ₂-노름 해—가 유리한 과적합을 달성함을 증명하며, 기존의 일致성 결과를 복원하고 이 설정에서 기저 추적(Basis Pursuit, ℓ₁-최소화)에 대한 최초의 일치성 보장을 수립한다.

ABSTRACT

We consider interpolation learning in high-dimensional linear regression with Gaussian data, and prove a generic uniform convergence guarantee on the generalization error of interpolators in an arbitrary hypothesis class in terms of the class's Gaussian width. Applying the generic bound to Euclidean norm balls recovers the consistency result of Bartlett et al. (2020) for minimum-norm interpolators, and confirms a prediction of Zhou et al. (2020) for near-minimal-norm interpolators in the special case of Gaussian data. We demonstrate the generality of the bound by applying it to the simplex, obtaining a novel consistency result for minimum l1-norm interpolators (basis pursuit). Our results show how norm-based generalization bounds can explain and be used to analyze benign overfitting, at least in some settings.

연구 동기 및 목표

• 고차원 선형 회귀에서 가우시안 특징을 가진 보간기의 일반적인 통일 수렴 분석을 제공한다.
• 노름 기반 일반화 경계가 보간 학습에서의 유리한 과적합을 설명할 수 있음을 보여준다.
• 최소 노름 보간기의 기존 일치성 결과를 최소 ℓ₂-노름 사례를 초월하는 더 넓은 보간기 클래스로 확장한다.
• 고차원 가우시안 선형 회귀에서 최소 ℓ₁-노름 보간기(기저 추적)에 대한 최초의 유한 표본 일치성 결과를 수립한다.
• 영훈련 오차 예측자에 대한 통일 수렴이 노이즈가 있는 과매개변수 설정에서 날카로운 일반화 경계를 도출할 수 있음을 보여준다.

제안 방법

• 가우시안 폭을 사용하여 가설 클래스의 일반화 오차에 대한 일반적인 유한 표본 고확률 통일 수렴 경계를 유도한다.
• 가우시안 미니맥스 정리를 적용하여 일반화 갭을 가설 클래스의 가우시안 폭과 노름 제약 조건과 연결한다.
• 노름 제약 조건과 콩센트레이션 부등식을 사용하여 고차원 점근적 설정 하에서 최소 ℓ₂- 및 ℓ₁-노름 보간기의 행동을 제어한다.
• 설계 행렬의 유효 랭크와 가우시안 폭 분석을 통해 보간기의 일반화 성능 간의 연결 고리를 수립한다.
• 특히 독립 동일분포 가우시안 랜덤 변수의 기대 최대값에 대한 경계를 포함한 난수 행렬 이론의 결과를 활용하여 고차원 가우시안의 ℓ∞-노름을 제어한다.
• 노름 제약 집합 위의 통일 수렴과 보간 제약 조건을 조합하여 보간기의 인구 위험에 대한 유한 표본 경계를 유도한다.

실험 결과

연구 질문

• RQ1 통일 수렴 추론은 고차원 선형 회귀에서 가우시안 특징을 가진 보간기에서의 유리한 과적합을 설명할 수 있는가?
• RQ2 보간기의 일반화 성능은 특정 최적화 경로보다는 주로 그 노름에 의해 결정되는가?
• RQ3 영훈련 오차 예측자에 대한 통일 수렴이 노이즈가 있는 과매개변수 설정에서 날카로운 일반화 경계를 도출할 수 있는가?
• RQ4 최소 ℓ₁-노름 보간기(기저 추적)는 고차원 선형 회귀에서 가우시안 설계와 가우시안 노이즈 하에서 일치하는가?
• RQ5 가설 클래스의 가우시안 폭은 그 보간 해의 일반화 오차와 어떻게 관련되는가?

주요 결과

• 논문은 고확률적으로 유한 표본에서 유효한 가설 클래스의 가우시안 폭에 기반한 보간기의 일반적인 통일 수렴 경계를 수립한다.
• ℓ₂-노름 구에 이 경계를 적용하면, 가우시안 설계 하에서 최소 ℓ₂-노름 보간기의 일치성 결과 [66]를 복원한다.
• 이 경계는 특별한 경우인 가우시안 데이터에서 [73]의 근사 최소 노름 보간기의 추측된 상한 경계를 확인한다.
• 이 논문은 고차원 선형 회귀에서 가우시안 특징과 노이즈를 가진 최소 ℓ₁-노름 보간기(기저 추적)에 대한 최초의 유한 표본 일치성 증명을 한다.
• 최소 ℓ₁-노름 보간기의 일반화 오차는 (1+η)(σ² + ||w*||₂²)의 인자로 제한되며, 여기서 η는 표본 크기, 차원, 희박성에 따라 달라지는 작은 오차 항이다.
• 분석은 설계 행렬의 유효 랭크가 가우시안 폭에 의해 캡처되며, 보간기의 일반화 성능을 결정하는 데 핵심적인 역할을 한다는 것을 보여준다.