[논문 리뷰] Exact Gap between Generalization Error and Uniform Convergence in Random Feature Models

Zitong Yang, Yu Bai외 1명|arXiv (Cornell University)|2021. 03. 08.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 4

한 줄 요약

이 논문은 비선형 무작위 특징 모델에서 일반화 오차와 균일 수렴 한계 사이의 간격에 대한 최초의 정확한 渐近 분석을 제공한다. 고전적 균일 수렴, 보간자에 대한 균일 수렴, 최소 노름 보간자의 위험을 정확한 표현식으로 유도하며, 고전적 한계가 노이즈가 있는 설정에서는 빈약해질 수 있지만, 보간자에 대한 균일 수렴은 여전히 비빈약하고 테스트 오차를 날카롭게 통제함을 보여준다.

ABSTRACT

Recent work showed that there could be a large gap between the classical uniform convergence bound and the actual test error of zero-training-error predictors (interpolators) such as deep neural networks. To better understand this gap, we study the uniform convergence in the nonlinear random feature model and perform a precise theoretical analysis on how uniform convergence depends on the sample size and the number of parameters. We derive and prove analytical expressions for three quantities in this model: 1) classical uniform convergence over norm balls, 2) uniform convergence over interpolators in the norm ball (recently proposed by Zhou et al. (2020)), and 3) the risk of minimum norm interpolator. We show that, in the setting where the classical uniform convergence bound is vacuous (diverges to $\infty$), uniform convergence over the interpolators still gives a non-trivial bound of the test error of interpolating solutions. We also showcase a different setting where classical uniform convergence bound is non-vacuous, but uniform convergence over interpolators can give an improved sample complexity guarantee. Our result provides a first exact comparison between the test errors and uniform convergence bounds for interpolators beyond simple linear models.

연구 동기 및 목표

• 과적합 모델에서 고전적 균일 수렴 한계와 실제 일반화 오차 사이의 괴리 문제를 해결하기 위해.
• 비선형 무작위 특징 모델에서 보간 해법에 특별히 초점을 맞춰 균일 수렴이 어떻게 행동하는지 분석하기 위해.
• 노름 구에 대한 고전적 균일 수렴과 보간자에 국한된 보다 정교한 버전을 비교하기 위해.
• 고차원 설정에서 일반화 오차와 균일 수렴 한계의 정확한 渐近 행동을 정량화하기 위해.
• 선형 모델을 초월해 보간 영역에서 일반화를 이해하기 위한 정밀한 이론적 프레임워크를 구축하기 위해.

제안 방법

• 고차원 무작위 행렬 이론을 사용하여 반지름 √A인 노름 구에 대한 고전적 균일 수렴의 정확한 渐近 표현식을 유도한다.
• Zhou 등(2020)이 제안한 바와 같이, 동일한 노름 구 내에서 보간 함수에만 국한된 보다 정교한 균일 수렴 한계를 도입하고 분석한다.
• 고차원 극한에서 Mei & Montanari(2019)의 결과를 활용하여 최소 노름 보간자의 위험을 계산한다.
• Gegenbauer 및 헤르미트 다항식을 사용하여 활성화 함수를 표현하고, 무작위 특징 커널의 스펙트럼 구조를 분석한다.
• n, d → ∞ 이면서 ψ₁ = n/d 및 ψ₂ = N/d 가 고정된 조건에서 경험적 양이 그들의 渐近 대응항으로 수렴함을 확립한다.
• 구면 조화 함수 공간에서의 직교 분해를 적용하여, 세 핵심 양 𝒰, 𝒯, 𝒓에 대한 정확한 표현식을 도출한다.

실험 결과

연구 질문

• RQ1 모델이 훈련 데이터를 보간할 때, 레이블 노이즈가 존재하는 상황에서 고전적 균일 수렴은 어떻게 행동하는가?
• RQ2 고전적 균일 수렴이 빈약해지는 상황에서, 보간자에 대한 균일 수렴이 일반화 오차에 대해 비빈약한 한계를 제공할 수 있는가?
• RQ3 최소 노름 보간자의 일반화 오차와 보간자에 대한 균일 수렴 한계 사이의 정확한 관계는 무엇인가?
• RQ4 고전적 프레임워크와 보간자 제한된 균일 수렴 프레임워크 간의 일반화 샘플 복잡도는 어떻게 다를까?
• RQ5 어떤 영역에서 보간자에 대한 정교한 균일 수렴이 고전적 한계보다 샘플 복잡도 측면에서 향상되는가?

주요 결과

• 노이즈 영역(τ² > 0)에서 고전적 균일 수렴 𝒰는 √ψ₂ 비례로 증가하며 빈약해지지만, 보간자에 대한 균일 수렴 𝒯는 유한하고 상수로 수렴한다.
• 노이즈 영역에서 최소 노름 보간자의 일반화 오차 𝒓은 ψ₂⁻¹ 비례로 감소하며, 초과 위험 𝒓 − τ² 역시 ψ₂⁻¹ 비례로 감소한다.
• 노이즈가 없는 영역(τ² = 0)에서는 일반화 오차 𝒓이 ψ₂⁻² 비례로 감소하고, 초과 위험 𝒓 − τ²는 ψ₂⁻¹보다 더 빠르게 감소한다.
• 노이즈가 없는 영역에서 고전적 균일 수렴 𝒰는 ψ₂⁻¹/² 비례로 감소하고, 보간자에 대한 균일 수렴 𝒯 역시 ψ₂⁻¹/² 비례로 감소하여 고전적 한계보다 샘플 복잡도가 향상됨을 보여준다.
• 노이즈 설정에서는 고전적 균일 수렴과 실제 일반화 오차 사이의 격차가 크지만, 보간자에 대한 정교한 한계는 여전히 날카롭고 비빈약하다.
• 𝒰, 𝒯, 𝒓에 대한 渐近 표현식은 ψ₁ = N/d 및 ψ₂ = n/d 로 표현되었으며, 고차원 극한에서 농도를 띤다.