[논문 리뷰] Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data

Spencer Frei, Niladri S. Chatterji외 1명|arXiv (Cornell University)|2022. 02. 11.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 노이즈가 있는 선형 데이터에서 경사하강법으로 훈련된 두 층의 ReLU 신경망이 유해하지 않은 과적합을 보임을 보여준다—왜냐하면 손상된 레이블에 대해 훈련 손실이 0이 되지만 최소 최대 최적의 테스트 오차를 유지하기 때문이다. 이전 연구들이 선형 또는 커널 모델에 국한된 것과 달리, 분석은 유한한 넓이의 네트워크와 비점근적 보장 조건 하에 완전히 비선형적인 설정에서 이러한 현상을 확립한다.

ABSTRACT

Benign overfitting, the phenomenon where interpolating models generalize well in the presence of noisy data, was first observed in neural network models trained with gradient descent. To better understand this empirical observation, we consider the generalization error of two-layer neural networks trained to interpolation by gradient descent on the logistic loss following random initialization. We assume the data comes from well-separated class-conditional log-concave distributions and allow for a constant fraction of the training labels to be corrupted by an adversary. We show that in this setting, neural networks exhibit benign overfitting: they can be driven to zero training error, perfectly fitting any noisy training labels, and simultaneously achieve minimax optimal test error. In contrast to previous work on benign overfitting that require linear or kernel-based predictors, our analysis holds in a setting where both the model and learning dynamics are fundamentally nonlinear.

연구 동기 및 목표

• 경사하강법으로 훈련된 신경망이 노이즈가 있는 레이블을 완전히 피팅함에도 불구하고 일반화 성능이 우수한 이유를 이해하는 것.
• 유해하지 않은 과적합 이론을 선형 및 커널 모델을 넘어서 완전히 비선형적인 두 층의 ReLU 신경망으로 확장하는 것.
• 고차원적이고 선형적으로 분리 가능한 데이터에서 악성 레이블 오염 상황에서의 일반화를 분석하는 것.
• 정제된 데이터 포인트에 대한 정규화된 마진이, 노이즈가 있는 샘플이 완벽하게 피팅되더라도 경사하강법의 동역학에 의해 제어됨을 보장하는 것.
• 유한한 넓이의 네트워크에서 신경미분커널 영역을 벗어나 있는 상태에서도 유해하지 않은 과적합이 발생할 수 있음을 입증하는 것.

제안 방법

• 경사하강법으로 훈련된 두 층의 ReLU 신경망을 분석하며, 부드럽게 처리된 유사한 누출 ReLU 활성화 함수를 사용한다.
• 데이터가 일정 비율의 악성 레이블 오염이 있는, 잘 분리된 클래스 조건부 로그-볼록 분포를 따르는 것으로 가정한다.
• 모든 예시의 손실가 감소 속도가 유사하게 유지되도록 보장하기 위해 '손실 비율 한계'를 도입한다. 이는 노이즈가 있는 점들이 동역학을 지배하지 않도록 한다.
• 고차원성을 활용하여 데이터 포인트 간 상호 수직성을 확보함으로써, 정제된 데이터에 대한 정규화된 마진을 제어할 수 있도록 한다.
• 손실 감소와 마진 증가 간의 연결 고리를 제공하기 위해, 기울기 노름 하한을 통한 대체 PL 부등식을 활용한다: $\|\nabla\widehat{L}(W)\|_F \geq \frac{\gamma\|\mu\|}{4}\widehat{G}(W)$.
• 유한한 넓이의 네트워크 동역학과 점근적이지 않은 분석을 활용하여, 커널 극한에 의존하지 않고도 0에 수렴하는 손실과 최적의 테스트 오차에 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 비선형 신경망이 노이즈가 있는 데이터에서 경사하강법으로 훈련될 때 유해하지 않은 과적합이 발생할 수 있는가?
• RQ2 레이블이 악성으로 오염된 상황에서, 노이즈를 완전히 피팅하는 두 층의 ReLU 신경망의 일반화 성능이 여전히 최적일 수 있는가?
• RQ3 노이즈가 있는 점들이 완벽하게 피팅되더라도, 경사하강법의 동역학이 정제된 데이터 포인트에 대해 큰 정규화된 마진을 유지할 수 있는가?
• RQ4 신경미분커널 영역 외부에서, 유한한 넓이의 네트워크에서도 유해하지 않은 과적합이 가능할 수 있는가?
• RQ5 손실 감소 속도와 마진 동역학 간의 상호작용이 비선형 모델에서 일반화를 어떻게 가능하게 하는가?

주요 결과

• 경사하강법으로 훈련된 신경망은 일정 비율의 악성 레이블 오염이 있는 데이터에서 훈련 손실이 0이 된다.
• 노이즈가 있는 레이블을 완전히 피팅함에도 불구하고 테스트 오차는 여전히 최소 최대 최적 수준을 유지하여, 비선형 설정에서의 유해하지 않은 과적합을 확인한다.
• 모든 예시의 손실 감소 속도가 균형을 이루기 때문에, 정제된 데이터 포인트에 대한 정규화된 마진이 훈련 전반에 걸쳐 크게 유지된다.
• 손실 비율 한계는 특정한 예시—특히 노이즈가 있는 점들—이 경사하강법의 경로를 지배하지 않도록 보장한다.
• 분석은 유한한 넓이의 네트워크에서도 유효하며, 가중치가 무작위 초기화로부터 상당히 이동함을 보여주어 커널 영역의 행동을 배제한다.
• 증명 과정에서 대체 PL 부등식 $\|\nabla\widehat{L}(W)\|_F \geq \frac{\gamma\|\mu\|}{4}\widehat{G}(W)$ 가 확립되었으며, 이는 $T = \Omega(\varepsilon^{-2})$ 단계 내에 0에 수렴하는 수렴을 가능하게 한다.