[논문 리뷰] Harmful Overfitting in Sobolev Spaces

Kedar Karhadkar, Alexander Sietsema외 2명|arXiv (Cornell University)|2026. 01. 31.

Machine Learning and Data Classification인용 수 0

한 줄 요약

본 논문은 Sobolev 공간 W^{k,p}(R^d)에서 근사적으로 노름을 최소화하는 보간자들이 표준 노이즈 가정하에서 해로운 과적합을 보이며, 모집단 위험이 n이 증가해도 Bayes 위험에서 벗어나 있는 것으로 한정된다.

ABSTRACT

Motivated by recent work on benign overfitting in overparameterized machine learning, we study the generalization behavior of functions in Sobolev spaces $W^{k, p}(\mathbb{R}^d)$ that perfectly fit a noisy training data set. Under assumptions of label noise and sufficient regularity in the data distribution, we show that approximately norm-minimizing interpolators, which are canonical solutions selected by smoothness bias, exhibit harmful overfitting: even as the training sample size $n o \infty$, the generalization error remains bounded below by a positive constant with high probability. Our results hold for arbitrary values of $p \in [1, \infty)$, in contrast to prior results studying the Hilbert space case ($p = 2$) using kernel methods. Our proof uses a geometric argument which identifies harmful neighborhoods of the training data using Sobolev inequalities.

연구 동기 및 목표

• 고정 차원에서 노이즈가 있는 데이터를 적합하는 보간기에 대한 일반화 이해를 촉진한다.
• W^{k,p}(R^d)에서 p ∈ [1,∞)인 경우 약간의 노름을 최소화하는 보간자가 무해하게 과적합하는 것을 불가능하다는 것을 확립한다.
• 완화된 규칙성 가정 하에 샘플 크기에 독립적인 기대 초과 위험의 균일한 하한을 제공한다.
• Hilbert 공간 및 커널 방법을 넘어 더 넓은 Sobolev 설정으로 기존 연구를 일반화한다.

제안 방법

• Sobolev 노름 제약을 최소 노름 해 f*에 대해 상대적으로 두고 gamma-ANM(약-노름-최소화) 보간자를 정의한다.
• 데이터 포인트에 서로 분리된 지지(지지를 가지는) 방울 함수(bump function)를 배치해 최소 Sobolev 노름의 상한을 구성한다.
• 잡음이 섞인, 잘 구분된 데이터 부분집합의 존재를 보이고 조건부 손실이 Bayes 손실보다 엄격하게 높으면서도 레이블은 한정되도록 한다.
• Sobolev 부등식을 사용해 국지적 진동을 구하고 잡음 포인트 주위에 높은 후회를 전파한다.
• 입력 공간의 큰 부분에 걸친 총 체의 후회가 gamma-ANM 보간자 전체의 기대 초과 위험에 양의 하한을 준다.
• 가우시안 이분산 잡음에 대한 특수 사례로 제3.8 보조정리(Corollary 3.8) 를 설명한다.

실험 결과

연구 질문

• RQ1 W^{k,p}(R^d)에서 약간의 노름을 최소화하는 보간이 고정 차원에서 해로운 과적합으로 이어지는가?
• RQ2 데이터 분포와 손실의 조건 아래에서 어떤 경우에 모든 gamma-ANM 보간자가 n이 커짐에 따라 일정한 초과 위험을 부담하는가?
• RQ3 Hilbert 공간이 아닌 Sobolev 공간에서 p ≠ 2일 때 일반화 성질이 커널/RKHS 결과와 어떻게 달라지는가?
• RQ4 Sobolev 노름과 국지적 진동 제어가 Sobolev 공간에서의 보간자 일반화에 어떤 역할을 하는가?

주요 결과

• kp>d인 모든 gamma-ANM 보간자는 모집단 초과 위험이 n에 독립적으로 양의 상수로 하한되며, 고확률로 유지된다.
• 이 결과는 p ∈ [1,∞)의 모든 값과 d/p < k < 1.5d/p 범위의 넓은 k에 대해 성립한다.
• 하한은 표본 크기에 의존하지 않는 Sobolev 매개변수, 데이터 분포, 노이즈 수준에만 의존하며(큰 n에 대해)
• 가우시안 이분산 잡음의 보조정에 대한 코사인: f_gamma와 실제 g 사이의 L^2 오차는 상수 곱 gamma^{-pd/(kp-d)}로 하한이 주어진다.
• 분석은 명시적 방울 함수 보간자와 훈령적 지오메트릭 논증을 사용하여 학습 데이터 주위에 해로운 이웃 영역을 식별한다.